理查德·沃特斯曾写过故事MIRI和其他的金融时报》，这也是尼克·博斯特罗姆的超智在它的顶部暑期科学阅读清单．
这是一件好作品。去看看，然后回来让我澄清一下。
1.比人类更聪明的人工智能可能不会“很快”出现。
“计算机将很快变得比我们更聪明，”故事开始了，但我认识的专家中很少有人认为这是可能的。
一个最近的调查问世界上被引用次数最多的在世人工智能科学家，他们认为哪一年有10% / 50% / 90%的机会达到人类水平的人工智能(又名美国国际集团)，前提是科学进步没有被大规模扰乱。10% AGI概率的中位数回答是2024,50% AGI概率的中位数回答是2050,90% AGI概率的中位数回答是2070。所以当人工智能科学家认为它是可能的我们可能很快就会有AGI，他们很大程度上希望AGI成为一个问题第二个本世纪的一半。
而且，许多专门考虑AGI安全性的人实际上认为AGI是进一步比最常被引用的人工智能科学家做得更好。例如，相对于接受调查的人工智能科学家，尼克•博斯特罗姆(Nick Bostrom)和我都认为，更多的可能性应该放在未来几年。我们提倡更多的工作在AGI安全挑战今天不是因为我们认为AGI可能在未来的十年或二十年，而是因为AGI安全看起来是极其困难的挑战这比应对气候变化更具挑战性，需要几十年的精心准备。
气候变化和人工智能带来的最大风险还需要几十年的时间，但数千名聪明的研究人员和政策制定者已经在努力理解和缓解气候变化，只有少数人在研究先进人工智能带来的安全挑战。亚博体育官网就目前而言，我们应该少派一些顶尖的认知人才去研究气候变化，而应该多派一些人去研究AGI的安全性。亚博体育官网
2.有多少人在努力确保AGI对人类友好?
的英国《金融时报》文章援引我的话说，世界上只有五个人“正在研究如何为不太遥远的未来的超级智能机器编程，以确保人工智能依然友好。”我确实说了些什么种就像这样，但它需要澄清。
我的意思是，“当你把人的一部分加起来，大约有5个人(据我所知)。显式地就如何确保比人类更聪明的人工智能亚博体育官网在从根本上改善自身的同时也能产生积极影响的问题进行技术研究。”
这些人包括:Eliezer Yudkowsky、Benja Fallenstein、Nate Soares(都在MIRI工作)和Stuart Armstrong(在牛津工作)的大部分全职员工，加上(b)一小部分兼职从事“Friendly AI”技术研究的人，例如MIRI的(无偿)。亚博体育官网亚博体育官网研究协会．
当然,还有很多很多比这更研究者做(a)非技术播洒至安全工作,或做(b)现存亚博体育官网的或将来系统的人工智能安全技术工作,或做(c)偶尔播洒至安全技术工作完成了非常不同的概念“积极影响”或“从根本上改善本身”。亚博体育苹果app官方下载
3.AGI不一定会将人类视为“仅仅”物质的集合。
这篇文章引用了我的论点:“在他们的专心致志中，AGIs将把他们的生物创造者仅仅看作是物质的集合，等待着被重新加工成他们认为更有用的东西。”
AGIs很可能拥有相当精确的——并且不断改进的——现实模型(例如，通过维基百科和数百万篇科学论文)，因此它们不会将人类视为“仅仅”物质的集合我做的。当然,人类是物质的集合，但我们是非常特殊的集合。不像大多数物质集合，我们有通用智能、意识、技术创造力、欲望、厌恶、希望和恐惧等等，而AGI会知道所有这些，它会知道石头、建筑物、植物、猴子和自动驾驶汽车不拥有所有这些属性。
我想说的是，如果一个自我完善的AGI被编程为使壳牌的股价最大化，那么它就会这样做知道所有关于人类的事情，然后它就会继续最大化壳牌的股价。而让壳牌股价最大化的最佳途径，恰好是占领世界，消除所有可能对实现这一目标构成威胁的因素。事实上，仅仅是为了任何一个AGI可以拥有的目标功能，这是一个非常好的主意来接管世界。那是这个问题。
即使我们可以计划一个自我完善的美国国际集团(说)“人类幸福最大化,那么美国国际集团将“关心人”在某种意义上,但它可能知道(说)的最有效的方法在我们指定的方式“人类幸福最大化”是接管世界,然后把我们每个人的细胞与海洛因滴。AGI向我们展示了过于字面化的精灵的老问题你得到你想要的实际要求，不是你想要．
和是的， AGI就足够聪明知道这不是我们真正想要的，特别是当我们开始抱怨软垫牢房的时候。但我们没有对它进行编程，让它做我们想做的事。我们把它设计成"人类幸福最大化"
问题是“我们真正想要的”很难用计算机代码来说明。两千年来的哲学家们甚至都没能把它定义得更精确人类语言。
4.“玩弄诸神的智慧。”
最后，这篇文章引用了我的话说:“我们在玩弄众神的智慧。”而且没有关闭开关。”
我不应该抱怨沃特斯先生把我说得如此雄辩，但我敢肯定，我从来没有说过这么简洁、这么能被引用的话。
当然，这里是今天有个开关，但可能有不会成为AGI的关闭开关，它足够聪明，可以移除它的关闭机制(以便更确定地实现它的编程目标)，并在互联网上复制自己——除非，也就是说，我们解决了我们称之为“可订正”。
你喜欢这篇文章吗?你可以享受我们的另一个yabo app 的帖子,包括:
