上周，我们收到了一些有效的利他主义社区的问题，以回应我们的融资后．麦克斯韦尔弗里茨:
对于MIRI的宣传，我的反应通常是:“是的，AI是一个真正的问题。但我不知道MIRI是否适合从事这方面的工作，或者他们解决问题的方法是否正确。
这里还有两个类似的问题，由特里斯坦·塔格补充:
MIRI能做什么?为什么我应该期待MIRI愿景和MIRI团队能够完成任务?我到底能期望他们做些什么?[.．.]
但第二个更大的问题是，MIRI会做什么谷歌不会做的?谷歌拥有大量资金、富有创造力和远见的员工、世界上最优秀的程序员，以及一系列融合了某种程度人工智能的成功产品——此外，他们最近收购了几家人工智能企业，并成立了一个人工智能道德委员会。他们似乎是在直接而非理论上解决同样的大问题，而且他们有雄厚的财力、敏锐的头脑和丰富的实践经验。
这些都是很好的问题。我对“为什么是MIRI?”，简而言之，就是MIRI有一个杰出的研究团队专注于亚博体育官网基本理论研究亚博体育官网几乎没有人在追求。从长远来看，我们完全专注于将比人类更智能的人工智能系统与人道价值结合起来。亚博体育苹果app官方下载
大多数学者还没有研究人工智能校准问题，也没有人全职做这方面的工作。大多数行业人士也还没有着手解决这些问题。我知道这一点，因为我和他们中的一些人交谈过。(这个领域很大，但是它不是那大．)
为什么学术界和行业专家还没有着手解决这些问题，有很多好的理由，我将逐一讨论其中的一些。
1.大多数人工智能科学家主要关注短期和中期。
这是有道理的:人工智能领域在过去不止一次因为承诺过多和兑现不足而失败，历史表明，如果一个人能着眼于在未来几年内能够实现的目标，那么做人工智能工作往往会更容易。
许多人工智能科学家都有坚持实际工作的动机，着眼于短期，只做出现实的承诺。(该领域最近对“机器学习”的关注在一定程度上证明了这一点，与“老式”的人工智能领域相比，“机器学习”的关注范围更窄，也更直接。)这已经得到了回报，工业界和学术界都取得了持续的渐进突破，这些突破带来了一些令人惊叹的新技术。然而，它也让长期的考虑变得有些有害，“人工智能”近年来一直是各种禁忌的话题。这种观点已经开始转变，但大多数学者仍不愿研究与人工智能有关的基础性问题，更愿意研究提高当今实际系统能力的问题。亚博体育官网亚博体育苹果app官方下载
2.我们解决的是另一种问题。
在美里的方法我讲了两种不同的计算机科学问题。第1类问题涉及如何在实践中，在合理的计算能力下，做一些我们在原则上知道如何做的事情。第2类问题涉及到如何在原则上做一些我们在原则上还不能做的事情。
我们目前的对齐研究方法是尝试将问题从第2类转移到第1类。亚博体育官网这类研究过去在其他领域已经亚博体育官网取得了成功，在人工智能结盟的背景下，我认为它值得得到比目前更多的关注。
传统上，工业最适合第一类问题。学术界也经常关注第一类问题，而不是第二类问题——尤其是在人工智能领域，原因与第一点有关。学者们通常会将概率论之类的东西形式化，然后探索和扩展这个框架，弄清楚它在哪里适用，并开发出棘手算法的实际近似，等等。学者们很少这样做创建理论基础的问题还不能解决，甚至在原则上，这往往只发生在有人有意寻找新的理论基础。出于以上讨论的原因，当涉及到人工智能对齐时，大多数学者还没有尝试这类研究。亚博体育官网
这就是MIRI所带来的:专注于相关的技术挑战。
3.我们没有相互竞争的利益或优先事项。
学术研究倾向于遵循亚博体育官网温顺和好奇的轮廓，无论它们将导致什么。行业研究往往关注短亚博体育官网期和中期利润。目前还不清楚这两者是否会集中在我们提出的人工智能校准问题上技术议程．1
相比之下，MIRI的研究人员全职专注亚博体育官网于他们能发现的最重要的人工智能校准问题，而不需要休息去上课、研究其他有趣的理论问题，或解决更有利可图或更容易发表的主题。我们不会为了赢得拨款而转向另一组问题;当我们赢了为期三年的资助在美国，我们不会在拨款到期后马上转向另一组问题。我们将继续致力于我们能找到的最重要的技术问题。
我们的任务是解决人工智能结盟的技术难题，我们目前的方法是在不分心的情况下，专注于研究议程中列出的开放问题。亚博体育官网
结论是，至少在短期内，我们所关注的具体问题的解决方案——由“即使对齐问题更简单，我们仍不能解决什么?”——最有可能来自MIRI和我们的合作者。
特里斯坦问:“MIRI会做什么谷歌不会做的事?”答案是:基础理论研究。亚博体育官网我经常与业内人士谈论他们正在做什么以及我们正在做什么。一遍又一遍地，我对我们的工作的反应是“啊，是的，这些都是非常重要的问题。我们没有在这些方面进行研究，但似乎我们确实缺少了一些有用的工具。如果你找到了答案，请告诉我们。”
或者，我们经常得到的回应是“嗯，是的，这个工具很好，但实现它听起来不可能”，或者“等等，你为什么认为我们真的需要这个工具?”2无论如何，我与这三个群体的对话都以同样的方式结束:“如果你能够开发它，这将是一个有用的工具;我们并没有致力于此;如果你找到了答案，请告诉我们。”
工业界对推动现代实用系统向越来越普遍的应用方向发展很感兴趣。亚博体育苹果app官方下载他们专注于诸如分层规划、持续学习和迁移学习等问题。当他们从事安全研究时(他们经常这样做!)，他们致力亚博体育官网于提高深度神经网络透明度的工具，他们致力于提高系统的校准和降低错误率。亚博体育苹果app官方下载我们与工业人工智能科学家的关系很好，我们彼此密切关注。但主要行业集团在人工智能协同研究方面根本不与MIRI竞争;亚博体育官网他们现在不是在做我们的工作。
同样值得记住的是，MIRI研究人员往往对人工智能的时间线持不可知论的态度。亚博体育官网去年的热门问题是“为什么你认为你的研究很重要，我们离比人类更智能的人工智能还很远，我们不可能知道什么架构将被用于机器智亚博体育官网能?”今年的热门问题是“谷歌将利用人工神经网络开发出比人类更智能的人工智能，为什么你认为你的研究有意义?”亚博体育官网
在这两种情况下，我的回答都是相似的:我们正在开发基本的概念性工具，类似于概率论，它们可能会在各种不同的体系结构中提高AGI系统的透明性、可验证性、稳定性和总体安全性。亚博体育苹果app官方下载今天，我的时间表与去年大致相同:我预计未来10年不会看到比人类更智能的人工智能系统，我确实预计本世纪会看到它们。亚博体育苹果app官方下载我并不清楚何时会开发出比人类更智能的人工智能系统，也不清楚如何开发，也不清楚由谁开发。亚博体育苹果app官方下载
十年是一个很多在工业中，一个世纪就是永恒。今天的行业领导者可能看起来相当强大，一些团体可能正在发展强大的领先于其他团体。然而，我对任何一个小组都没有足够的信心把我们所有的筹码都押在他们的成功上。
MIRI正在进行基础研究，开发工具，帮助所有行业组织设亚博体育官网计更安全的系统。亚博体育苹果app官方下载我们的目标是让设计健壮且有益的通用推理机变得更容易，我认为由公正的第三方来开发这些工具是很有价值的，这些工具要对公众负责，而不是对股东负责。
超级智能可能不会马上出现。在此期间，我们正致力于解决一系列不同于业界和学术界现有群体的问题;大多数团队并不专注于长期AI对齐问题的基础理论研究。亚博体育官网
美里。我们所研究的开放问题还没有得到充分的解决，而且我们已经做好了在最关键的技术障碍面前取得进展的准备。我们希望众多优秀和有技能的组织也能接受这些技术挑战，我们在这些主题上的工作将有助于该研究领域更快地发展。亚博体育官网我非常感激这个领域有更多的竞争。在那之前，如果你希望至少有一个组织的任务是解决"二班“技术研究，MIRI是团亚博体育官网队的资金。
你喜欢这篇文章吗?你可以享受我们的另一个yabo app 的帖子,包括:
