CSRBAI谈论鲁棒性和误差

||消息视频

我们最近上传了第二组视频Colloquium系列稳健和有益的AI(CSRBAI)在Miri办公室,共同主持了人类研究所的未来。这些会谈是本周一周的一部分,专注于AI系统中的鲁棒性和差错,以及如何确保当AI系统失败时,它们优雅和可检测的。亚博体育苹果app官方下载所有发布的视频都可以使用CSRBAI网页

Bart Selman.康奈尔大学计算机科学教授,谈到机器推理和规划(幻灯片)。摘抄:

我想看看我称之为“非人类智力”。它的注意力不那么关注,但进步也非常有趣,他们正在推理和规划。它实际上没有在AI世界中得到高度关注,因为它更加用于软件验证,程序综合,自动化科学和数学发现 - 与AI相关的其他领域,但不是使用这些推理技术的AI的中心部分。特别是软件验证世界 - 微软,英特尔,IBM - 非常努力地推动这些推理程序,这就是为什么有如此多的进步,我认为它将在不久的将来开始喂回AI。

杰西卡泰勒介绍Miri最近发布的第二次技术议程,“高级机器学习系统对齐亚博体育苹果app官方下载“。抽象的:

如果使用与现代机器学习的算法开发了人工通用智能,我们如何瞄准所产生的系统以安全地在世界上实现有用的目标?亚博体育苹果app官方下载我为新的Miri项目提出了一个专注于这个问题的技术议程。

Stefano Ermon.斯坦福大学计算机科学助理教授,谈到了概率推理和准确性保证(幻灯片)。抽象的:

高维概率模型的统计推断是AI中的核心问题之一。迄今为止,只开发了一些不同的方法,最值得注意的是(MCMC)采样和变分方法。虽然在实践中经常有效,但这些技术通常不会提供对结果的准确性的保证。在这次谈判中,我将根据理论计算机科学界的思想呈现替代方法。这些方法可以利用组合优化的最近进步,并提供准确性的可证明担保。

保罗基督教,在UC Berkeley的博士学生,谈到了培训对齐的加强学习代理人。摘抄:

这是加强学习问题的目标。我们作为AI系统的设计师对某些其他目标进行了解,这可能是我亚博体育苹果app官方下载们没有简单的形式化。我只是说,“我们希望代理人做正确的事情。”我们真的不关心代理人看到的奖励;我们只是关心它是正确的。

如此,直观地,我们可以想象有一些未观察到的实用功能这对成绩单作用,只是评估了代理人表现的后果。因此,它必须平均超过宇宙中的所有地点此成绩单,它说:“当遇到此成绩单时,我希望代理商想要做些什么?”

吉姆巴巴科克讨论了AGI遏制问题(幻灯片)。抽象的:

确保强大的AGIS是安全的,将涉及测试和实验它们,但是一个不端行为的AGI可能会尝试篡改其测试环境,以便访问互联网或修改测试结果。我将讨论保护环境以测试AGIS的挑战。

总之,作为整个事件的方式,以及斯图尔特罗素,艾伦蕨类植物和弗朗切斯科罗西的开幕式谈话的视频,看看我的最后博客文章