recursion - 递归函数的网络模拟是什么？

Question

这是 Wolfram 科学 session 上提出的一个雄心勃勃的问题:是否存在递归函数的网络模拟之类的东西？也许是一种迭代的“ map 缩减”模式？如果我们在迭代中添加交互，事情就会变得复杂:大量交互实体的连续迭代会产生非常复杂的结果。如果能有一种方法来观察定义复杂系统的无数交互的后果，那就太好了。我们能否在包含嵌套传播循环的连接节点的迭代网络中找到递归函数的对应项？

分布式计算的基本模式之一是 Map-Reduce:它可以在元胞自动机 (CA) 和神经网络 (NN) 中找到。 NN 中的神经元通过突触收集信息(reduce)并将其发送到其他神经元(map)。 CA 中的单元的行为类似，它们从邻居处收集信息(reduce)，应用转换规则(reduce)，然后再次将结果提供给邻居。因此>如果<存在递归函数的网络模拟，那么Map-Reduce肯定是其中的重要组成部分。存在什么样的迭代“map-reduce”模式？某些类型的“ map 缩减”模式是否会导致某些类型的流甚至涡流或旋转？我们可以为映射归约模式制定微积分吗？

Answer 1

我将尝试一下有关神经网络中递归的问题，但我真的不明白 Map-Reduce 是如何发挥作用的。我知道神经网络可以执行分布式计算，然后将其简化为更本地化的表示，但是术语map-reduce是这种分布式/本地管道的一个非常具体的品牌，主要与谷歌和Hadoop相关.

无论如何，你的问题的简单答案是神经网络中没有通用的递归方法；事实上，在神经网络中实现通用角色值绑定(bind)这一非常相关的简单问题目前仍然是一个悬而未决的问题。

神经网络 (ANN) 中的角色绑定(bind)和递归等问题如此困难的一般原理是，ANN 本质上是非常相互依赖的；事实上，这就是他们大部分计算能力的来源。而函数调用和变量绑定(bind)都是非常明确的操作；它们所包含的内容是要么全有要么全无的事情，而这种离散性在许多情况下是一种宝贵的特性。因此，在不牺牲任何计算能力的情况下在另一个内部实现一个确实非常棘手。

这里是一小部分尝试部分解决方案的论文样本。幸运的是，很多人都觉得这个问题很有趣!

视觉分割和动态绑定(bind)问题:提高人工神经网络浮游生物分类器的鲁棒性(1993)

<强> A Solution to the Binding Problem for Compositional Connectionism

<强> A (Somewhat) New Solution to the Binding Problem