为什么人工智能安全?
MIRI是一个位于加州伯克利的非盈利研究亚博体育官网组织。我们的技术研究旨在确保比人类更智亚博体育官网能的人工智能系统对世界产生积极的影响。亚博体育苹果app官方下载这一页大致概述了为什么我们认为这是一个至关重要的目标，为今天的工作。
人类在社会和技术上的优势主要源于我们在推理、计划和科学方面的熟练程度(阿姆斯特朗)．我们称之为容量一般智力（Muehlhauser)——“通用”，因为在数百万年的时间里，人类不需要进化出单独的模块来进行理论物理、软件工程和心脏手术。相反，将人类与黑猩猩区分开来的一组相对较小的适应能力必须同时实现所有这些能力。
当我们谈到“人工智能”(AGI)或“比人类更聪明的人工智能”时，我们想到的就是这种普遍的解决问题的能力。人工智亚博体育苹果app官方下载能系统可能会在科学和工程能力方面超越人类，而在其他任何方面都不是特别像人类——人工情报例如，不需要暗示人工意识或人工情绪。相反，我们有能力很好地模拟真实世界的环境，并确定各种各样的方法来将这些环境置于新的状态。
关注AI风险缓解的理由并没有过多地假设未来AI系统将如何实施或使用。亚博体育苹果app官方下载以下是我们认为最关键的观点:
- 无论我们分配给高级AI系统的问题/任务/目标是什么，都可能与现实世界的目标不完全匹配。亚博体育苹果app官方下载除非我们投入(巨大的、多代人的)努力来教会人工智能系统我们集体价值观的每一个细节(在一定程度上存在重叠)，否则现实的系统将需要依靠不完美的近亚博体育苹果app官方下载似和代理来实现我们想要的(苏亚雷斯，Yudkowsky)．
- 如果系统分配的亚博体育苹果app官方下载问题/任务/目标不能完全抓住我们的真正目标，它很可能最终产生与我们真正想要的灾难性冲突的动机(博斯特罗姆，罗素，Benson-Tilsen &苏亚雷斯)．
- 人工智亚博体育苹果app官方下载能系统可以变得比人类智能得多(博斯特罗姆)，在某种程度上，可能会让人工智能系统在任意冲突中具有决定性优势(亚博体育苹果app官方下载苏亚雷斯，Branwen)．
- 很难预测什么时候会有比人类更智能的人工智能问世:可能是15年，也可能是150年(开放慈善项目)．此外，随着人工智能接近人类的能力水平，进展可能会加速，一旦终点近在眼前，我们几乎没有时间改变研究方向(亚博体育官网Bensinger)．
斯图亚特·罗素的剑桥大学说是对长期人工智能风险的绝佳介绍。其他对通用人工智能表达了这些担忧的亚博体育官网领先人工智能研究人员包括弗朗西斯卡罗西(IBM),肖恩·莱格(谷歌DeepMind),Eric Horvitz(微软),巴特·塞尔曼说(康奈尔大学),Ilya Sutskever(OpenAI),安德鲁•戴维森(伦敦帝国理工学院),大卫McAllester(TTIC),尤尔根•Schmidhuber(IDSIA)。
因此，如果能找到相关的研究问题，就应该优先进行早期研究，把未来AI系统与我们的兴趣结合起来。”亚博体育官网亚博体育苹果app官方下载人工智能结盟很容易被证明比人工智能本身困难许多倍，在这种情况下，研究努力目前被严重错误地分配。亚博体育官网
校准研究可以包括开发亚博体育官网正式的和理论的工具来构建和理解稳定和稳健的人工智能系统(“高可靠性”)，寻找方法来更好地接近我们在人工智能系统中的价值(“价值规范”)，亚博体育苹果app官方下载减少来自非完全可靠或非特定值的系统的风险(“容错”)。亚博体育苹果app官方下载
MIRI如何在这个问题上取得进展?从广义上讲，我们可以将所有比人类更智能的AI系统的空间想象成一个极其广阔和异类的空间，在这个空间中，“可对齐的AI设计”是一个小而窄的目标(而“亚博体育苹果app官方下载对齐的AI设计”则更小更窄)。我们通常认为，当今边缘对齐研究者能做的最重要的事情是帮助确保人类设计的第一个一般智能系统位于“可对齐”区域。亚博体育官网亚博体育苹果app官方下载
我们认为这是不可能发生的，除非研究人员有一个公平原则的理解，他们的系统是如何发展推理，以及推理是如亚博体育官网何与预期目标联系起来的。亚博体育苹果app官方下载因此，我们的大部分工作都是为了在这个领域中播种一些想法，这些想法可能会激发更多的AI研究，使之接近(我们所期望的)可对齐的AI设计。亚博体育官网当第一个通用推理机器被开发出来时，我们希望开发人员能够从设计和技术的空间中取样，这些设计和技术比今天的人工智能更容易理解和可靠。
我们专注于我们认为可以帮亚博体育官网助激发新的人工智能技术的研究，这些技术比当前的技术更具理论原则。在实践中，这通常涉及到关注当前理论中最大的缺陷，以期发展出更好、更普遍的理论，为后续工程工作打下基础(苏亚雷斯)．
让我们的方法与众不同的其他因素还包括，我们更关注AI系统的推理和规划，而不是系统的目标、输入和输出通道，或者环境的特征。亚博体育苹果app官方下载这部分是因为前面提到的考虑，部分是因为我们期望推理和计划是使高能力系统具有高能力的关键部分。亚博体育苹果app官方下载为了使用这些功能(并且是安全的)，我们可能需要一个很好的模型来说明系统如何进行认知工作，以及这些工作如何与预期目标联系在一起。亚博体育苹果app官方下载
最后，我们通常还会避免我们认为学术和行业研究人员很有能力解决的问题，而是将重点放在我们预计未来最容易被忽视的研究方向上(亚博体育官网Bensinger)．
亚博体育官网MIRI的研究人员通常对人工智能领域在未来几年将如何发展高度不确定，而且有许多不同的场景让我们觉得是可信的。但是，有一个好的结果作为条件，我们将相当多的可能性放在大致遵循以下梗概的场景上:
在短期内一个研究亚博体育官网团体联合起来，对相关问题有一个良好的原则性理解，并产生解决这些问题的正式工具。人工智亚博体育官网能研究人员对最佳实践达成了最低限度的共识，对人工智能的长期社会影响进行了更开放的讨论，并形成了一种风险意识的安全心态(Muehlhauser)，并致力于容错和值规范。
在中期在美亚博体育官网国，研究人员建立在这些基础上，形成了更成熟的认识。随着我们对比人类更智能的人工智能系统可能会是什么样子有了更清晰的认识——更接近于一个可信的路线图——我们可以想象研究界会朝着加强亚博体育苹果app官方下载协调与合作的方向前进，以遏制种族动态(亚博体育官网苏亚雷斯)．
从长远来看，我们希望看到人工智能授权的项目用于避免重大的人工智能灾难，同时人类努力走向必要的科学和制度成熟，以便对遥远的未来作出持久的决定(杜威)．为此，我们想要解决有限的人工智能系统校准问题的弱版本——这些系统刚好能够作为防止人工智能事故和误用的有用杠杆。亚博体育苹果app官方下载
在非常长期在美国，我们希望研究人员最终能够解决高亚博体育官网能力、高度自治的人工智能系统的“完全”对齐问题。亚博体育苹果app官方下载理想情况下，我们希望工程师和操作人员能够花时间进行点选我和交叉每t在我们冒险“锁定”任何对未来有巨大且不可逆转影响的选择之前。
上面是一个模糊的草图，我们优先考虑我们认为在不太乐观的情况下也会有用的研究。亚博体育官网此外，这里的“短期”和“长期”是相对的，不同的时间线预测可能会产生非常不同的政策含义。尽管如此，这个草图可能有助于阐明我们希望看到的研究界前进的方向。亚博体育官网
