今天，我们发布了一篇文章，描述了我们呼叫的友好AI研究中的一个新问题区域亚博体育官网易燃。那个报告 （PDF.）由Miri的友好AI研究团队（Eliezer Yudkowsky，Benja亚博体育官网 Fallenstein，Nate Soares）共同撰写，并从牛津大学人类学院的未来斯图斯特·阿姆斯特朗。
摘要读：
随着人工智能系统在智能和能力中增长，其一些可用的选项可能亚博体育苹果app官方下载让他们抵制他们的程序员的干预。如果它与其创造者作为纠正干预亚博体育苹果app官方下载的内容合作，我们会致电AI系统“违规”，尽管违反理性代理人来抵制将其关闭或修改其偏好的纠正措施，但仍然存在纠正干预。我们介绍了易燃和分析实用程序的概念，该功能试图将代理程序安全关闭如果按下关闭按钮，同时避免激励以防止按钮被按下或导致按下按钮，同时确保按钮关闭行为，因为它创建了新的子系统或自我修改。亚博体育苹果app官方下载虽然有些提案很有趣，但没有人尚未证明满足我们所有直观的探索物，在宽敞开放中留下这种简单的问题。
本文被接受了AI与伦理研讨会在Aaai-2015。
更新：Nate Soares在AAAI-15演示的幻灯片可用这里。
