CSRBAI讨论了agent模型和多agent困境

||新闻视频

我们上传了最近的最后一组视频健壮和有益的人工智能系列研讨会(CSRBAI)在MIRI办公室,与人类未来研究所.CSRBAI公开视频或幻灯片的完整对话列表:


关于前几周在中国srbai的谈话回顾,请看我之前的博文透明度鲁棒性和容错性,偏好规范.最后一组会谈是本周关注Agent模型和多Agent困境的一部分:

Michael Wellman他是密歇根大学计算机科学与工程教授,谈到了金融市场中自主代理的影响和风险(幻灯片).文摘:

为健壮和有益的人工智能设计是未来的一个主题,但也更迫切地关注当今许多领域中出现的自主代理的前沿。人工智能已经无处不在的一个领域是金融市场,其中很大一部分交易通常是由算法发起和执行的。模型和观察性研究让我们对人工智能交易者对市场表现和稳定性的影响有了一些认识。考虑到人工智能的存在,市场环境的设计和监管也可以为处理更普遍的自治代理提供经验。

斯特凡诺阿尔布雷特他是德克萨斯大学奥斯汀分校计算机科学系的博士后研究员,他谈到了“学会区分信仰和真理”(幻灯片).文摘:

智能代理例行地建立其他代理的模型,以促进规划自己的行动。复杂的代理也可能对一组替代模型保持信念。不幸的是,这些方法通常不会在交互过程中检查它们模型的有效性。因此,代理可能在没有意识到的情况下学习和使用不正确的模型。在这次演讲中,我将论证健壮的代理应该具有两种能力:构建其他代理的模型,并考虑其模型的正确性。我将介绍一种行为假设测试的方法以及一些实验结果。会谈将以开放的问题和可能的研究议程结束。亚博体育官网

斯图亚特·阿姆斯特朗来自牛津大学人类未来研究所的他谈到了“减少人工智能的影响”(幻灯片).文摘:

本次演讲将着眼于在不解决友好性问题的情况下创造安全AI的一些想法。它将首先关注“减少影响的人工智能”,这种人工智能被设计成对世界几乎没有影响,但仍然可以从它们身上提取高影响。然后,它将深入研究人工智能的新理念,设计为只对自己的虚拟世界有偏好,并研究将冷漠作为人工智能控制工具的优势和局限性。

最后,安德鲁Critch一位MIRI研究员亚博体育官网,谈到了有界代理中强有力的合作。这篇演讲是以论文为基础的参数有界Löb定理与有界主体的鲁棒协作讨论抽象:

一对可能毁灭对方的特工之间的第一次互动,就像一个一次性的囚徒困境。考虑这样一款游戏,其中每个玩家都是一个能够读取对手源代码的算法。Tennenholtz(2004)引入了一种agent,它可以在对手的源代码与自己的源代码相同的情况下进行合作,因此有时可以在总体上不可利用的情况下实现相互合作。然而,程序的精确平等是一个脆弱的合作标准。在这里,我将展示一个新的和更强健的合作准则,灵感来自LaVictoire, Barasz和其他人(2014)的想法,使用一个新的定理在有限推理者的可证明逻辑。