需要缩放MIRI的方法

||yabo app

Andrew Critch, MIRI研究团队的新成员之一,已经抓住了MIRI研究团队的机会亚博体育官网冬天募款活动写在他的个人博客为什么他认为MIRI的工作很重要。一些摘录:

因为一个团队CFAR校友联合起来成立了生命未来学院(FLI),组织了一次人工智能安全会议今年1月,他在波多黎各与人合著了《FLI研亚博体育官网究优先级提案在过去的一年里,大量资金被贴上了“人工智能安全”的标签。尼克·博斯特罗姆的超智也是这个惊人的成功故事的主要因素。

在这些资助下,我们做了很多很棒的工作,包括提出很多解决人工智能安全已知问题的建议,我觉得这非常令人鼓舞。然而,我担心,如果MIRI不能至少在某种程度上扩大规模,以跟上所有这些资金的步伐,它就不会像MIRI在那里提供帮助时那样被花得差不多。

我们必须记住这一点人工智能安全并不是自发的集体觉醒而成为主流的.这是经过MIRI和合作伙伴多年的努力FHI努力识别关于人工智能可能如何给我们带来惊喜的未知未知,并进一步努力学习以足够的技术细节来解释这些想法,使它们可能被主流研究采用,这终于开始发生了。亚博体育官网

但我们搞错的那部分呢?那我们还没有发现的子问题呢,这些子问题可能会被主流所忽视,就像5年前整个问题被忽视一样?我很高兴AI/ML社区现在对这些问题有了更多的认识,但我想确保MIRI能够足够快地发展,以使这个不断增长的领域保持在正轨上。

现在,你可能会认为,既然其他人都在“关注这个问题”,那么问题就会迎刃而解。也许是这样。

但只是因为一些MIRI结论现在被广泛采用不就意味着它被广泛采用吗方法是多少。精神运动

“有人已经向我指出了这个安全问题,让我试着解决它!”

“有人给我指出了这个安全的解决方案,让我看看它是怎么坏的!”

而第二种心理运动正是mii在一开始就注意到人工智能安全问题的那种。网络安全专家似乎很容易就能做到这一点:安全专家布鲁斯·施奈尔如是说安全的心态.SANS协会称之为红色的合作.不管你怎么称呼它,AI/ML人仍然更倾向于制造模式,而不是断路器模式,而且在我看来,还没有发现任何新的安全问题。

我确实认为不同的组织应该尝试不同的方法来解决人工智能安全问题,而不是完美地复制MIRI的方法方法亚博体育官网研究议程.但我认为断路器模式/安全心态确实需要成为每一个人工智能安全方法的一部分。如果MIRI不能跟上新融资的步伐,我担心世界将会复制MIRI 2014年关于人工智能安全中什么是重要的最好印象,并抛弃自我批评的方法生成的首先,这些想法是一个严重的陷阱,因为在这个领域中还有很多未知的未知。

看到我们的资金驱动后帮助提交或了解更多关于我们的计划。有关人工智能风险和安全心态的更多信息,请参见Luke Muehlhauser的关于这个话题的帖子