节省时间

||yabo app

注意:这是有限因子集的序言，我将在接下来的几周发布这个序列。太平洋时间这个星期天中午，我将做一个Zoom演讲(链接)引入了有限因子集，我发现这个框架在技术上和逻辑归纳一样有趣。

（更新5月25日:现在有一个介绍有限因子集的视频和博客文章在这里．)

在过去的几年里，我的大部分研究动机都是试图将时间的概念从决策理论问题所产生的所有奇怪的亚博体育官网因果循环中拯救出来。这篇文章有望解释为什么我这么在乎时间，以及我认为需要解决的问题。

为什么时间吗?

我对时间的最好描述是这样的时间是因果关系．例如，在Pearlian Bayes网中，您可以从较早的节点到较晚的节点绘制边。在某种程度上，我们想要思考因果关系，那么，我们就需要理解时间。

重要的是,时间是学习和承诺发生的基础．当代理学习时，他们会随着时间的推移而学习。时间的流逝就像一场仪式机会被破坏，知识被创造．我认为很多学习模式都有微妙的困惑，因为它们基于令人困惑的时间概念。

时间对于思考代理也是至关重要的。我对代理最好的简短定义是代理就是时间旅行．主体是一种机制，通过它未来能够影响过去。代理对其操作的未来结果进行建模，并根据这些结果选择操作。在这个意义上,结果原因这个动作，尽管在标准的物理意义上，这个动作来得更早。

问题:时间是Loopy

随着时间的推移，最主要的问题是它是“糊涂的”。

纽科姆的问题最令人困惑的地方在于，我们总是把自己的决定想成是“在”填充盒子之前做出的，尽管实际上它是在填充盒子之后做出的。这暗示着，除了物理时间之外，也许我们还需要理解其他一些“逻辑”时间。

然而，当我们试图这样做时，我们会遇到两个问题:首先，我们不理解逻辑时间可能来自哪里，或者如何学习它，其次，我们会遇到一些明显的时间循环。

我将把第一个问题放在一边，关注第二个问题。

要理解为什么我们会陷入时间循环，最简单的方法是注意到，物理时间似乎至少有点与逻辑时间纠缠在一起。

想象一下，如果有人对纽科姆的问题进行物理模拟，并追踪所有原子的所有细节。从这个角度来看，似乎有一种有用的感觉，即在代理人决定要一个盒子还是两个盒子之前，先填满盒子。然而，与此同时，这些原子组成了一个代理，它不应该做出决定，仿佛它对改变任何事情都无能为力。

也许这里的解决方案是考虑存在许多不同类型的“前”和“后”，“因”和“果”，等等。例如，从主体优先的角度来看，我们可以说X在Y之前，但从物理优先的角度来看，Y在X之前。

我认为这是对的，我们认为有很多不同的时间系统(希望可以预见到相互关联)。亚博体育苹果app官方下载但我认为这并不能解决整个问题。

考虑一对FairBot在一个开源的囚徒困境中，特工们成功地执行了Löbian握手来合作。我想说的是，每个代理的合作在某种程度上导致了另一个代理的合作。我可以说，相对于每个主体，因果/时间顺序的走向是不同的，但我认为在这种情况下，循环是结构的重要组成部分。(我甚至不确定我想在哪个时间方向与哪个代理人联系。)

出于其他原因，我们也倾向于在我们的时间/因果关系中加入循环。例如，当在一个持续存在的系统中建模一个反馈循环时，我们可能会画出一个看起来很像贝叶斯网但不是无环亚博体育苹果app官方下载的结构(例如，一个POMDP)。我们可以把它看作另一个系统的投影它有额外的时间维度，但它仍然是一个有用的投影。亚博体育苹果app官方下载

解决方案:抽象

我主要希望通过抽象来恢复连贯的时间概念并解开这些时间循环。

在agent基于结果选择行动的例子中，我认为在行动选择之前存在一个抽象的结果模型，即在实际的物理结果之前。

在纽科姆的问题中，我想说的是，在填充盒子之前，存在一个抽象的行为模型。

在开源囚徒困境中，我想说的是，有一个抽象的合作证明，在实际的程序追踪到代理之前，就已经出现了。

所有这些都指向同一个方向:我们需要结构的粗糙抽象版本出现在不同的时间，而不是相同结构的更精细的版本。也许当我们正确地考虑到不同层次的描述在因果链中具有不同的联系时，我们便能够解开所有的时间循环。

但如何?

不幸的是，我们对时间的最好理解是Pearlian的因果关系，而Pearlian的因果关系对抽象概念并没有什么帮助。

Pearl的贝叶斯网中有一些变量，但当这些变量是其他变量的粗糙抽象版本时，我们就必须考虑到决定论，因为我们的一些变量是彼此的决定论函数;而《珍珠》中最精彩的部分则与决定论格格不入。

但问题远不止于此。如果我们在确定性函数的方向上画一个箭头，我们将画一个时间箭头，从结构的更精细版本到该结构的粗糙版本，这与我们所有的例子的方向相反。

也许我们可以避免把箭头从更精细的节点画到更粗的节点，而是画一条从更粗的节点到细化的节点的路径。但是，这样我们就可以对更粗的节点做另一个副本，这个副本确定地位于更细的节点的下游，不增加新的自由度。那么，是什么阻止我们交换较粗节点的两个副本呢?

总的来说，在我看来，Pearl还没有准备好让某些节点成为其他节点的抽象版本，我认为为了节省时间，需要对这些节点进行修复。

讨论:LessWrong