与埃利泽·尤多科夫斯基谈话的转述文字记录。
面试官我想从你那里得到一个关于“友好AI的开放问题”的澄清。逻辑不确定性问题，本雅·法伦斯坦解决与逻辑真理的不确定性有关，agent没有足够的计算能力来推断。但是:我听说过一些不同的东西叫做“逻辑不确定性问题”。其中一个是“中微子问题”，如果你是贝叶斯，你不应该100%确定2 + 2 = 4。因为中微子可能会在错误的时刻扰乱你的神经元，扰乱你的信念。
以利以谢:看到也如何说服我2 + 2 = 3．
面试官:没错。即使是在一个概率系统里，比如亚博体育苹果app官方下载贝叶斯网例如，某些部分的总和必须为1的概率，贝叶斯网的结构中还包含其他逻辑假设，AI可能希望在这些基础上具有不确定性。这就是我所说的“中微子问题”。我不知道你认为这是一个多大的问题，以及它与你通常谈论的"逻辑不确定性问题"有多大的联系
以利以谢我认为有两个问题。当您在嘈杂的处理器上运行程序时，会出现一个问题，似乎对人类程序员来说，使用足够的冗余运行程序，并进行足够的检查，以将错误概率降低到几乎为零，这应该是相当简单的。但这大大降低了效率与你可能编写的那种程序相比，如果你愿意接受概率结果，在推理其预期效用时。
然后还有一个关于友好AI的行动标准和自我修正标准的开放问题，即我当前的所有想法仍然是基于在你将错误概率降至几乎为零后证明事情是正确的。但这可能不是一个良好的长期的解决方案,因为从长远来看你会想要一些行动的准则,让AI复制自身到not-absolutely-perfect硬件,或硬件冗余级别的,没有被运行,我们试图压低错误概率为2-64年或者接近于0。
面试官:这似乎和你经常用“逻辑不确定性问题”这个短语谈论的事情不同。是这样吗?
以利以谢当我说“逻辑不确定性”的时候，我通常说的更像是，你相信Peano算术，现在为Gödel的表达式分配一个概率。或者你们还没检查过，239427是质数的概率是多少?
面试官你看不出这两个问题之间有很大的关系吗?
以利以谢:还没有。第二个问题是相当基本的:我们如何接近逻辑事实，我们不是逻辑上的无所不知?特别是当你对你运行的复杂算法有不确定的逻辑信念时你在计算相对于这些复杂算法的自修正预期效用。
你所说的中微子问题会出现即使我们在处理物理上的不确定性。它来自于计算机芯片的错误。当你在一个可能出错的物理计算机芯片上构建一个自己的副本时，甚至在逻辑全知的情况下，它也会出现。所以，第二个问题似乎不那么难以形容了。也许它们最终是同一个问题，但在我看来，这并不明显。
你喜欢这个帖子吗?你可以享受我们的另一个对话的帖子,包括:
