最近，科学星期五（由Ira Flatow主持）进行了采访（页，，，，mp3）与Christof Koch和Stuart Russell有关机器超智能。克里斯托夫·科赫（Christof Koch）是艾伦脑科学研究所的首席科学官，斯图尔特·罗素（Stuart Russell）是加州大学伯克利分校的计算机科学教授，也是世界的合着者使用最多的AI教科书。
我很高兴听到两位杰出的客人都认真对待Agi。对话的那些部分在下面摘录：
罗素：大多数[AI研究人员亚博体育官网]就像施法者[来自超越]。他们只是试图解决问题。他们想让机器聪明。他们正在处理下一个难题。也有许多人在思考我们成功时会发生什么。实际上，我的书中有一章，叫做“如果我们成功怎么办？”如果我们制造的机器比人类聪明得多，而这是在上传威尔·施法者之后发生的事情，那么他拥有大量的计算资源来运转他的大脑，他变得比人类更加聪明。
如果发生这种情况，那么很难预测这样的系统会做什么以及如何控制它。亚博体育苹果app官方下载这有点像灯或巫师学徒中精灵的古老故事。您可以给您3个愿望，但是在所有这些故事中，这3个愿望适得其反，而且总有一些漏洞。精灵在很大程度上进行了您的要求，这绝不是您真正想要的。机器也是如此。如果我们问他们“治愈病人，结束人类的痛苦”，也许结束人类苦难的最佳方法是完全结束人类的生命，因为那时将不再有人类的痛苦。那将是很大的漏洞。您可以想象写税法有多困难，因此没有漏洞。经过300年的尝试，我们没有成功。
很难说出我们想要一台超级智能的机器，这样我们就可以绝对确定结果是我们真正想要的，而不是我们所说的。这就是问题。我认为，作为一个领域，我们正在经历一个实现过程，即更聪明的过程不一定更好。就像核物理学家发现连锁反应时，我们必须更加聪明，控制和安全，他们突然意识到：“哦，如果我们做出过多的链条反应，那么我们就会有核爆炸。”因此，我们需要受控的链反应，就像我们需要受控的人工智能一样。
Flatow：这不是所有科学吗？科学的历史是否在早期谈论基因工程，想知道一旦我们开始与基因组一起玩耍时，实验室会爬出什么？
科赫: The difference now is that this [risk is an] existential threat to human society just like we’ll see once a nuclear genie was out of the bottle, we still live under the possibility within 20 minutes that all people we know will be obliterated under nuclear mushroom. Now we live with the possibility that over the next 50, 100 years this invention that we’re working on might be our final invention as Stuart has emphasized and that our future may be bleaker than we think.
[…]
Flatow：科学家是否有责任现在思考AI的后果，研究人员是否正在组织，谈论，会见这些事情？亚博体育官网
罗素： 绝对地。是的。这是有责任的，因为如果您在一个成功的领域工作可能是人类历史上最大的事件，并且正如某些人预测的那样，这是人类历史上的最后一个事件，那么您最好承担责任。人们正在开会。实际上，我刚刚在星期二在巴黎组织了一个，利用了这里的一次重大会议。我发现的是，该领域的高级人士以前从未公开过任何担忧，这是私人认为我们确实需要非常重视这个问题，而我们越早认真对待它越好。我认为核物理学家希望他们比他们早得多认真对待它。
Flatow：克里斯托夫？
科赫： 是的。我必须完全同意，斯图尔特。我最近参加了一场物理学家的会议，我们就最大的生存威胁进行了大规模的讨论和民意调查。令我惊讶的是，在核战争之后，这是灰色粘式场景或AI运行的情景。这不是气候控制或其他一些更常规的控制。在一些专家中，人们非常担心AI将会发生的事情。
[…]
宇宙中没有法律说事物仅限于人类水平的智能。很可能有一些实体比我们更聪明，正如斯图尔特所说，我们无法预测他们的欲望，什么是他们的动机，并对其进行编程，我们都知道越野虫软件如何是。我们是否真的想依靠一些标准程序员来编程，这些程序不会以一种或另一种方式消灭我们？
