MIRI的使命是确保创造比人类更智能的人工智能产生积极影响。为什么这项任务很重要，为什么我们认为我们今天可以做一些工作来帮助确保这样的事情?
在这篇文章和我的下一篇文章中，我将尝试回答这些问题。本文将阐述我认为支撑我们使命的四个最重要的前提。相关帖子包括elizer Yudkowsky的“五篇论文和卢克·米尔豪泽的为什么美里?”;每当我断言我们的使命是至关重要的时候，我都试图阐明一些背后的主张。
断言1:人类有解决问题和实现不同领域目标的普遍能力。
我们称这种能力为“智力”或“一般智力”。这不是一个正式的定义-如果我们知道完全一般智力是什么，我们可以更好地将它编程到计算机中——但我们确实认为，存在一种真实的普遍智力现象，但我们还不能在代码中复制这种现象。
观点一般智力是不存在的。相反，人类有一组完全不同的专用模块。计算机将在国际象棋或驾驶等狭义任务上变得更好，但它们绝不会获得“一般性”，并显著变得更有用，因为不存在可获得的一般性。（罗宾·汉森对这一立场的不同版本进行了论证。)
短的响应我认为“完全不同的模块”假说是不可信的，因为人类能够轻而易举地掌握与我们祖先完全不同的领域。这并不是说一般智力是某种不可简化的神秘属性;它大概包括许多不同的认知能力以及它们之间的相互作用。然而，整体而言，与黑猩猩相比，人类的认知能力和适应性更强。
为什么这个说法很重要当前位置人类比其他物种取得了统治地位，并不是因为它更强壮或更敏捷，而是因为它更聪明。如果这种普遍智能的某些关键部分能够在我们与黑猩猩的共同祖先生活以来的几百万年里进化，这意味着可能存在一个相对较少的关键见解清单，可以让人类工程师构建强大的普遍智能的人工智能系统。亚博体育苹果app官方下载
进一步的阅读Salamon等人智力的可解性如何?”
断言2:人工智能系统可能会亚博体育苹果app官方下载变得比人类更智能。
亚博体育官网MIRI的研究人员往往缺乏坚定的信念当将开发出比人类更智能的机器智能。然而，我们确实预计(a)人类同等的机器智能最终将被开发出来(可能在一个世纪内，除非发生灾难);其次，机器可以变得比任何人都聪明。
观点# 1字体大脑能做一些电脑无法复制的特殊事情。
短的响应当前位置大脑是物理系统，如果某些版本的亚博体育苹果app官方下载Church-Turing论文在理论上，计算机可以复制任何物理系统的功能输入/输出行为。亚博体育苹果app官方下载此外，请注意“智力”(我使用这个术语)是关于解决问题的能力:即使有一些特殊的人类特征(比如感受性)，这将是无关紧要的，除非它阻止我们设计解决问题的机器。
观点# 2当前位置作为普通智能基础的算法是如此复杂和难以破译，以至于人类在许多世纪内都无法编写任何类似的程序。
短的响应从进化的证据来看，这似乎是不可信的。属人类它在280万年前才与其他属分离，其间的时间——自然选择的一眨眼——足以产生人类所看到的认知优势。这强烈地暗示，无论什么因素将人类与智力较低的物种区分开来，都不是极其复杂的:一般智力的基石一定存在于黑猩猩身上。
事实上，海豚相对聪明的行为表明，这些积木可能早在老鼠大小的人类和海豚共同祖先时期就已经存在了。有人可能会说，老鼠级别的智能需要许多个世纪才能复制，但鉴于此，这是一个更难以接受的说法快速的进步在人工智能领域。根据进化证据和过去几十年的人工智能研究，在我看来，智能是我们能够理解并编程到机器上的东西。亚博体育官网
观点# 3当前位置人类的生理智力已经达到或接近顶峰。因此，尽管我们可能能够制造出与人类相当的智能机器，但我们无法制造出超级智能机器。
短的响应如果人类是完美设计的理性者，那将是令人惊讶的，同样的道理，如果飞机不能飞得比鸟快，那将是令人惊讶的。简单的物理计算证实了这种直觉:例如，在物理的范围内，似乎很有可能以正常速度数千倍的速度运行计算机模拟人脑。
一些人认为速度并不重要，因为真正的瓶颈是等待物理实验的数据。这在我看来不太可能。有许多有趣的物理实验可以加速，我很难相信一组以1000倍的速度奔跑的人类将无法超越他们的正常速度对手(尤其是因为他们可以快速开发新的工具和技术来帮助他们)。
我还希望它能够被构建更好的理性者(而不仅仅是快推理机)比人类更有效地使用计算资源，即使运行速度相同。
为什么这个说法很重要当前位置当涉及到我们所关心的任务时，人类设计的机器往往会让生物大吃一惊。汽车不能自愈或繁殖，但它们肯定能比马带人走得更远、更快。如果我们能够制造智能机器，通过科技创新来解决世界上最大的问题，那么它们就能以前所未有的速度改善世界。换句话说，人工智能很重要。
进一步的阅读:查尔默斯,”奇点:哲学分析”
主张3:如果我们创造了高度智能的AI系统，它们的决定将塑造未来。亚博体育苹果app官方下载
人类利用他们的智慧创造工具、计划和技术，使他们能够按照自己的意愿塑造环境(并将它们装满冰箱、汽车和城市)。我们预计，更智能的系统将有更大亚博体育苹果app官方下载的能力来塑造他们的环境，因此，比人类更智能的人工智能系统最终可能会比人类对未来有更大的控制。
观点无论人工智能系统亚博体育苹果app官方下载变得多么智能，它都不可能在整体竞争中胜出人类。我们的环境竞争太激烈了;机器必须与我们合作，并融入我们的经济。
短的响应:我毫不怀疑，试图完成简单任务的自主AI系统最初将具有与我们的经济相结合的强大动亚博体育苹果app官方下载机:如果你创建一个为你收集邮票的AI系统，它可能会从获得购买邮票的钱开始。但是，如果系统获得了强大的技术或亚博体育苹果app官方下载战略优势呢?
作为一个极端的例子，我们可以想象这个系统正在开发纳米机器，并利用它们将尽可能多的物质亚博体育苹果app官方下载转化为邮票;它不一定会关心这个东西是来自“泥土”、“金钱”还是“人”。只有当他们的贸易收益大于净收益时，自私的参与者才会有参与经济的动机，因为他们忽略了经济，只是把资源占为己有。
所以问题是，人工智能系统是否有可能获得决定性的技术或战略优势。亚博体育苹果app官方下载我认为这是我列出的所有声明中最不确定的一个。不过，我希望答案仍然是明确的“是”。
从历史上看，人类之间的冲突往往以技术上占优势的群体统治对手而告终。目前，有一些技术和社会创新似乎是可能的，但尚未开发。与分布式软件系统所能达到的效果相比，人类的协调缓慢且糟糕。亚博体育苹果app官方下载所有这些都表明，如果我们制造出一种比我们更快或更好地进行科学研究的机器，它就能迅速为自己或其操作者获得相对于人类的技术和/或战略优势。如果它的智力优势允许它在社会上操纵人类，获得新的硬件(合法的或不合法的)，生产更好的硬件，创建自己的副本，或改进自己的软件，这一点尤其正确。无论是好是坏，未来的很大一部分都可能由超级智能决策机器决定。
为什么这个说法很重要因为未来很重要。如果我们希望事情在未来变得更好(或者至少不要变得更糟)，那么明智的做法是优先研究那些对未来具有高影响力的过程。亚博体育官网
进一步的阅读:阿姆斯特朗,比我们聪明
断言4:高度智能的AI系统在默认情况下并不是有益的。亚博体育苹果app官方下载
我们希望看到未来比人类更智能的人工智能系统与人类共同创造更美好的未来;亚博体育苹果app官方下载但这不会在默认情况下发生。为了构建具有有益影响的AI系统，我们必须解亚博体育苹果app官方下载决许多技术挑战，而不仅仅是构建更强大、更通用的AI系统。
观点随着人类变得更加聪明，我们也变得更加和平和宽容。随着人工智能变得越来越聪明，它也将能够更好地了解我们的价值观，并将更好地执行它们。
短的响应:足够智能的人工推理者将能够算出我们的意图和偏好;但这并不意味着他们会执行与他们一致的计划。
一个自我修改的人工智能系统可以检查它的代亚博体育苹果app官方下载码，并决定是继续追求给定的目标，还是宁愿改变它们。但是程序如何决定执行哪个修改呢?
AI系统是一个亚博体育苹果app官方下载物理系统，在它的某个地方，它正在构建关于如果它做各种事情，宇宙将会是什么样子的预测。系统的其他部分会比较这些结果，然后执行导致当前亚博体育苹果app官方下载系统排名较高的结果的行动。如果代理程序最初被设定为执行计划，引导它进入一个它预测癌症被治愈的宇宙，那么它只会修改它的目标，如果它预测这将导致治愈癌症。
不管它们的智力水平如何，也不管你的意图如何，电脑都能做到完全你给他们编的程序。如果你的程序极其智能机器执行计划,它预测导致期货癌症治愈,那么它可能是最短路径能找到癌症的未来需要绑架人类实验(和抵制你试图改变它,将会使它减速)。
一旦计算机跨越了某个能力阈值，就不会有任何同情的火花自动灌输给它们对其他情感的尊重。如果你想要同情，你必须把它植入程序。
为什么这个说法很重要在超级智能的帮助下，许多世界上最大的问题将更容易解决——但要获得这些好处，我们需要做的不仅仅是提高人工智能系统的能力。亚博体育苹果app官方下载只有当你知道如何编写程序来考虑亚博体育苹果app官方下载你的意图，并执行实现它们的计划时，你才能得到一个能够完成你想做的事情的系统。
进一步的阅读:博斯特罗姆。”有超常智慧的将”
这四种观点构成了人工智能重要论点的核心:普遍推理能力是存在的;如果我们建立一般理性者，他们会比人类聪明得多;如果它们比人类聪明得多，它们可能会产生巨大的影响;这种影响在默认情况下不会是有益的。
目前，数十亿美元和数千人年的资金正涌入人工智能领域功能亚博体育官网在人工智能安全研究方面投入的精力相对较少。人工超级智能可能在未来几十年的某个时候出现，而且几乎肯定会在未来一两个世纪以这样或那样的形式出现，除非发生灾难。超级智能系统要么会对人类产生极其积亚博体育苹果app官方下载极的影响，要么会对人类产生极其消极的影响;该由我们来决定。
你喜欢这篇文章吗?你可以享受我们的另一个yabo app 的帖子,包括:
