与埃利泽·尤多科夫斯基谈话的转述文字记录。
面试官:假设你正在与一位聪明的数学家交谈，他看起来可能具备在一个友好的AI团队中工作所需的技能。但是，他说:“我理解人工智能风险的一般问题，但我只是不相信你能提前那么远就知道什么特别有用。你现在提到的任何问题都不太可能是30年或80年后人工智能开发出来时所涉及的问题。我们现在所做的任何技术研究都亚博体育官网依赖于对世界的一套高度结合的信念，我们不应该对我们能看到那么遥远的未来抱有太多信心。”你是怎么回答数学家的?
以利以谢首先，我会让他们阅读我们正在处理的特定技术问题的描述，例如“Löb问题”。我正在写一篇关于它的描述。所以我会向数学家展示这一描述并说:“不，尝试让AI编写类似AI的问题似乎是一个相当基本的问题，但Löb问题阻止了它。事实上，即使拥有无限的计算能力，我们也不知道如何去做这些事情，这令人担忧。”
一个更抽象的论点可能是这样的:“你确定同样的思维方式不会妨碍你解决任何重要问题吗?”你确定你不会回到过去，告诉艾伦·图灵不要发明图灵机，因为谁知道电脑是否真的会像那样工作?他们不是那样工作的。真正的计算机并不像形式主义那样工作，但图灵的工作还是很有用的。”
面试官你和我都认识一些人，他们对人工智能的风险了解得非常透彻，但在如何应对人工智能的最佳方案方面，他们仍然比你有更多的不确定性。也许还有很多其他有前途的干预措施，比如追求认知增强，或者做fhi式的研究，寻找我们还没有定位的关键因素——比如德雷克斯勒发现了分子纳米技术，或者舒尔曼发现了用于激进智力放大的重复胚胎选择。亚博体育官网或者，也许我们应该把重点放在把安全迷因放到AGI社区，因为现在还太早，再说一次，确切地说，哪些问题会产生影响，尤其是如果你有一个较长的人工智能时间范围。你对这一推理有何反应?
以利以谢:在一个小时而不是一年的元推理之后，做你当前优先考虑的事情。如果一年后你还在说，“不，不，我们必须考虑更多的元”，那么我不相信你是那种会行动的人。
例如,保罗global他没有犯这个错误，因为保罗正在解决实际的FAI问题而寻找其他有希望的干预措施。对此我没有什么异议。如果他提出了一些他认为更重要的干预措施，我会问具体的案例。
尼克·博斯特罗姆他也没有犯这个错误。他做了很多元策略方面的工作，但他也研究人择概率和规范不确定性的议会模型以及其他对象层面的事情，他主持了像安德斯·桑德伯格这样的人他们写了关于上传时间表的论文这些实际上与我们的政策决策有关。
当人们不断地说“也许我们应该做一些其他的事情”时，我会说，“做出一个临时决定，根据这个临时决定开始行动，并在必要时重新考虑这个决定。”但如果你是一个总是尝试去做元的人，只因为可能会有更好的事情，你永远不会真正去做做某事关于这个问题。
你喜欢这个帖子吗?你可以享受我们的另一个对话的帖子,包括:
