machine-learning - 液态状态机: How it works and how to use it?

Question

我现在正在学习 LSM(液态状态机)，我正在尝试了解它们到底是如何用于学习的。

我对在网上读到的内容感到非常困惑。我将写出到目前为止我所理解的内容，但它可能不正确，所以如果您能纠正我并解释什么是正确的，我会很高兴:

1. LSM 根本没有经过训练:它们只是用许多“时间神经元”(例如 Leaky Integrate & Fire 神经元)进行初始化，而它们的阈值是随机绘制的，它们之间的连接也是随机绘制的(即神经元)不必与其他每个神经元有共同的边缘)。

2. 如果我们想“了解”输入I后x个时间单位，出现Y，那么我们需要使用 LIF“检测器”“等待”x 个时间单位，并查看哪些神经元在该特定时刻放电。然后，我们可以训练一个分类器(例如前馈网络)，这个特定的放电神经元子集意味着 Y 发生了。

3. 我们可能在“液体”中使用许多“时间神经元”，因此您可能有许多可能不同的放电神经元子集，因此在我们等待后的那一刻，放电神经元的特定子集几乎是唯一的x 时间单位，输入我们的输入I

   后

我不知道我上面写的是否属实。我希望得到有关该主题的解释。

Answer 1

从你的问题来看，你的思路是正确的。无论如何，液体状态机和回声状态机是涉及计算神经科学和物理学的复杂主题，涉及混沌、动态 Action 系统、反馈系统和机器学习等主题。因此，如果您觉得很难理解它，也没关系。

回答您的问题:

1. 大多数液态状态机的实现都使用未经训练的神经元存储库。人们已经尝试过训练水库，但尚未取得巨大成功，无法证明实现这一目标所需的计算能力是合理的。(参见:Reservoir Computing Approaches to Recurrent Neural Network Training)或(The p-Delta Learning Rule for Parallel Perceptrons)
   
   我的观点是，如果您想在模式的可分离性或泛化方面使用液体作为分类器，您可以从神经元之间的连接方式中获得更多(参见Hazan, H. and Manevitz, L., Topological constraints and robustness in liquid state machines, Expert Systems with Applications, Volume 39, Issue 2, Pages 1597-1606, February 2012。)或(Which Model to Use for the Liquid State Machine?)生物学方法(我认为最有趣的一种)( What Can a Neuron Learn with Spike-Timing-Dependent Plasticity? )
2. 您是对的，您至少需要等到完成输入，否则您可能会检测到您的输入，而不是检测到您的输入应有的结果所发生的事件。
3. 是的，您可以想象您的液体复杂性是 SVM 中的一个内核，它尝试将数据点投影到某个超空间，并将液体中的检测器作为尝试在数据集中的类之间进行分离的部分。根据经验，神经元的数量及其相互连接的方式决定了液体的复杂程度。
   

关于 LIF(泄漏集成和火神经元)，正如我所见(我可能是错的)，两种方法之间的最大区别在于单个单元。在液态状态下，机器使用类似生物的神经元，而在回声状态下，使用更多的模拟单元。因此，就“极短期内存”而言，液态方法中每个神经元都会记住自己的历史，而在回声状态方法中，每个神经元仅根据当前状态使用react，因此存储在神经元之间的事件中的内存单位。