强大的规划人员，而不是感知软件

在过去的几个月里，一些主要媒体一直在传播关于人工智能可能会自动获得感知能力并与我们为敌的担忧。许多人已经指出了这种观点的缺陷，其中包括颇有名气的人工智能科学家吴恩达(Andrew Ng):

从我们今天所做的工作中，我看不到任何现实的路径——这是令人惊奇的，创造了大量的价值——但我没有看到我们所编写的软件有任何走向邪恶的路径。

他继续说，关于遗传机器的主题：

计算机正在变得越来越聪明，并且与自行车汽车或语音识别系统或搜索引擎有用。亚博体育苹果app官方下载那是智慧。但感知和意识并不是我谈到的大多数人认为我们正在走向的地方。

我说，这些异议是正确的。我全心全意地支持NG的积分 - 我看到我们写的软件可以自发地“转邪”。

我确实认为，如果我们希望能够使用强大的AI系统来造福所有人，我们需要提前做一些重要的工作，但这并不是因为强大的AI系统可能获得一些“意识火花”，从而对我们不利。亚博体育苹果app官方下载我也不担心创造出一些像《火神》一样的机器去推断(使用冷冰冰的机制推理)终结人类是“合乎逻辑的”，我们在某种程度上是“不值得的”。提前做研究的理由并不是那么不可思议亚博体育官网。相反，我们只是还不知道如何给智能机器编程，让它们可靠地做好事情，而不会产生意想不到的后果。

问题不在于终结者．“迈达斯王。”迈达斯国王得到了他想要的东西——他碰过的每样东西都变成了金子。他的食物变成了金子，他的孩子也变成了金子，而他却孤独而饥饿地死去。

强大的智能软件系统就是:软件系统。亚博体育苹果app官方下载没有意识的火花会降临到足够强大的规划算法上，并给它们注入爱或恨的感觉。你只能得到你所编写的程序。¹

要构建一个强大的人工智能软件系统，你需要编写亚博体育苹果app官方下载一个以某种方式代表世界的程序根据感知和经验不断完善这个世界模型。您还需要编写强大的规划算法，使用这个世界模型来预测未来，并找到通向某些特定类型的未来的路径。

我们在Miri的研究的重点不是以思亚博体育官网想或觉得我们所做的感兴趣的机器为中心。它旨在提高我们对节目软件系统的能力，以执行导致非常特定的期货类型的计划。亚博体育苹果app官方下载

编程为构建高度准确的世界模型，采用强大的规划算法的机器可以产生非凡的益处。科技创新对世界各地的生活质量产生了很大影响，如果我们可以在人类智能的方式方面可以聪明地进行智能 - 我们可以更快更好 - 我们可以科技创新自动化．当涉及到改善人类和动物福利的任务时，这将是一个游戏规则的改变者。

要构建具有这些优点的机器，第一个挑战是要以一种高度可靠的方式进行世界建模和规划:您需要确保它始终如一地追求它的目标，无论目标是什么。如果你能成功做到这一点，第二个挑战就是让目标变得安全和有用。

如果你建立一个强大的计划系统,旨在期货癌症的治愈,那么它很可能世界亚博体育苹果app官方下载模型代表所有以下事实:(a)的最快路径癌症治疗包括增殖机器人实验室的生物圈和绑架人类实验;(b)一旦你意识到这一点，你就会试图关闭它;(三)如果你关闭它，癌症治愈的时间会更长。然后系统亚博体育苹果app官方下载可能会执行一个计划，其中包括欺骗你，直到它能够抵抗，然后繁殖机器人实验室和绑架人类。事实上，这就是你要的。

我们可以避免这种结果，如果我们设法建立做我们的意思而不是我们所说的机器。那种行为没有免费下来：你必须编程它。

一个超人类的计划算法，加上一个非常好的世界模型，可以找到你从未想象过的解决方案。它可以利用你没有注意到的模式，找到你没有认识到的快捷方式。如果你遵循一个由超级智能搜索过程生成的计划，它可能会带来意想不到的灾难性后果。引用Stuart Russell教授的话领先的AI教科书）：

我们主要关注的不是令人毛骨悚然的突现意识，而是做出高质量决策的能力。在这里，质量指的是所采取行动的预期结果效用，而效用函数大概是由人类设计师指定的。现在我们有一个问题:

1.实用程序功能可能不会与人类的值完全对齐，这是非常难以放下的人类的价值观。

2.任何能力有足够的智能系统都愿意确保自己的持续存在，并获得物理和计算资源 - 亚博体育苹果app官方下载不是为了自己的缘故，而是在其指定的任务中取得成功。

一种亚博体育苹果app官方下载优化n变量函数的系统，其中目标取决于大小k

人类有A.很多不太小的限制类似于“哦，而不是在治疗癌症时绑架任何人”。通过手动进行人类价值观和人类规范的完整描述，以机器可读的格式，似乎不可行。如果我们希望超人规划算法生成的计划来尊重我们所有复杂的未言文的限制和欲望，那么我们需要开发新工具以预测和控制通用自治代理的行为。没有两种方式。

许多人，当他们第一次遇到这个问题时，会有一个条件反射的反应，为什么这个问题并不像它看起来那么难。一个常见的一个是“如果一个强大的计划开始运行,我们可以拔掉它”——一个反对日益过时的云计算的时代,并没有完全如果系统能够访问互联网或其他网络,它可以复制到其他机器。亚博体育苹果app官方下载

另一个常见的问题是“为什么不建立一个系统?亚博体育苹果app官方下载输出计划而不是拥有它执行这个计划?但如果我们引导一个强大的计划程序来生成这样的计划(a)审查计划的人批准它(b)执行它导致癌症被治愈，那么这个计划很可能是一个看起来这很好，但它利用了核实程序中一些可预见的监督，并绑架了一些人。

或者你可以说，“我们怎样才能制作只回答问题的系统？”亚博体育苹果app官方下载但是，您到达“回答问题”究竟如何指导超人规划程序？您是否会将其编程为输出它预测的文本将导致您在答案输出后按“高度满意”按钮？因为在这种情况下，系统可能会井输出构成特别欺骗答案的亚博体育苹果app官方下载文本。或者，如果添加答案必须准确的约束，它可能会输出修改您在将来提出更容易问题的文本。

Maybe you reply, “Well, perhaps instead I’ll direct the planner to move toward futures where its output is measured by this clever metric where…,” and now you’ve been drawn in. How exactly could we build powerful planers that search for beneficial futures? It looks like it’s possible to build systems that somehow learn the user’s intentions or values and act according to them, but actually doing so is not trivial. You’ve got to think hard to build systems that figure out all the intricacies of your intentions without deceiving or manipulating you while acquiring that information. That doesn’t happen for free: ambitious, long-term software projects are still ultimately software projects, and we have to figure out how to actually write the required code.

如果我们能够弄清楚如何构建与我们兴趣对齐的更智能的机器，那么福利可能是非凡的。喜欢菲尔比（Evernote的创始人）说在美国，人工智能可能是“宇宙有史以来最伟大的造福人类的力量之一”。到达那里是有可能的，但这需要一些工作。

1. 您可能会计划AI系统要意识，这将极大地使情况复杂化 - 因为那亚博体育苹果app官方下载时系统本身将是一个道德患者，其偏好将重视我们的考虑因素。然而，正如NG注意到，“意识”与“智力”不同。↩