新论文:“奔向悬崖”

||论文

奔向边缘在他作为MIRI研究人员期间,卡尔·舒尔曼为一篇论文亚博体育官网作出了贡献,现在作为FHI技术报告:奔向悬崖:人工智能发展的一个模型

文摘:

本文介绍了一个简单的人工智能军备竞赛模型,几个开发团队竞相构建第一个人工智能。在第一个人工智能将非常强大和具有变革性的假设下,每个团队都有动力先完成任务——如果需要的话,可以减少安全预防措施。本文给出了这一过程的纳什均衡,即在军备竞赛中,每个团队都采取了适量的安全防范措施。拥有额外的开发团队以及团队之间的额外敌意可能会增加AI灾难的风险,特别是当风险比AI开发技能更重要时。令人惊讶的是,信息也会增加风险:团队越了解彼此的能力(以及他们自己的能力),危险就越大。

更新:截至2015年7月,本文已在本刊发表人工智能与社会