AI:现代方法是这一领域的主流教材。它被1200所大学使用，目前是22日引述计算机科学期刊。它的作者,斯图亚特·罗素和Peter Norvig，在第26.3节“发展人工智能的伦理和风险”中，对人工智能的危险和友好的人工智能进行了大量的讨论。
他们讨论的前5个风险是:
- 人们可能会因为自动化而失去工作。
- 人们可能有太多(或太少)闲暇时间。
- 人们可能会失去独特的感觉。
- 人工智亚博体育苹果app官方下载能系统可能会被用于意想不到的目的。
- 人工智能系统的使用可能会导致亚博体育苹果app官方下载问责缺失。
每个章节都有一到两段长。最后一个小节，“人工智能的成功可能意味着人类的终结”，给出了3.5页面．这里有一个片段:
问题是，人工智能系统是否比传统软件带来更大的风险。亚博体育苹果app官方下载我们将研究三种风险来源。首先，AI系统的状态估计可能亚博体育苹果app官方下载是不正确的，导致它做错误的事情。例如，导弹防御系统可能会错误地探测到攻击并发起反击，导致数十亿亚博体育苹果app官方下载人死亡。
其次，为AI系统指定正确的效用函数并不是一件容易的事情。亚博体育苹果app官方下载例如，我们可以提出一个效用函数，旨在减少人类的痛苦，表现为一个附加的奖励函数，随着时间的推移……然而，考虑到人类的方式，即使在天堂，我们也总能找到痛苦的方式;因此，人工智能系统的最佳决策是尽快终结人类——没有人类，就没有痛苦……亚博体育苹果app官方下载
第三，人工智能系统的学习功能亚博体育苹果app官方下载可能会导致它演变成一个具有无意识行为的系统。这种情况是最严重的，并且是AI系统所特有的，所以我们将更深入地讨论它。亚博体育苹果app官方下载I.J.古德写道(1965)，
让我们把超智能机器定义为一种机器，它可以远远超过任何一个人的所有智力活动，无论这个人多么聪明。因为设计机器是一种智力活动，一个超智能的机器可以设计出更好的机器;届时，毫无疑问会出现“智能爆炸”，人类的智能将被远远甩在后面。因此，如果机器足够温顺，能告诉我们如何控制它，那么第一台超智能机器将是人类需要做出的最后一项发明。
Russell和Norvig随后提到了Moravec和Kurzweil的作品，然后又回到了对人工智能更关心的语气。它们涵盖了阿西莫夫的机器人三定律，然后:
Yudkowsky (2008)详细介绍了如何设计友好型AI。他认为，友善(不伤害人类的愿望)应该从一开始就设计出来，但设计师应该认识到，他们自己的设计可能有缺陷，而且机器人会随着时间的推移学习和进化。因此，机制设计面临的挑战之一是定义一种机制，在一个制衡系统下进化人工智能系统，并赋予系统实用功能，使其在面对这些变化时保持友好。亚博体育苹果app官方下载我们不能给一个程序一个静态的实用函数，因为环境，以及我们想要的对环境的响应，会随着时间的推移而改变。例如，如果技术允许我们在1800年设计出一个超级强大的人工智能代理，并赋予它当时的主流道德，那么它就会在今天为重建奴隶制和废除妇女投票权而战。另一方面，如果我们今天构建一个AI代理，并告诉它如何进化其效用功能，我们如何确保它不会读到“人类认为杀死恼人的昆虫是道德的，部分原因是昆虫的大脑太原始了。”但是人类的大脑和我的能力相比是原始的，所以对我来说杀死人类一定是道德的。”
Omohundro (2008)假设即使一个无害的象棋程序也可能对社会构成风险。类似地，马文·明斯基(Marvin Minsky)曾提出，一个旨在解决黎曼假设(Riemann Hypothesis)的人工智能程序最终可能会占用地球上所有的资源，来建造更强大的超级计算机，以帮助实现其目标。其中的寓意是，即使您只希望您的程序下象棋或证明定理，如果您赋予它学习和改变自己的能力，您也需要保护措施。
我们很高兴看到MIRI的工作得到如此主流的学术曝光。
读者们可能还会感兴趣的是，拉塞尔组织了一个关于人工智能影响的小组IJCAI-13会议。Russell自己的幻灯片是在这里．其他小组参与者是亨利·考茨(幻灯片)、乔安娜·布莱森(幻灯片)，安德斯·桑德伯格(幻灯片)及特龙(幻灯片）.
你喜欢这篇文章吗?你可以享受我们的另一个yabo app 的帖子,包括:
