language-agnostic - 将循环神经网络与强化学习一起使用时，它们的用途是什么？

Question

我确实知 Prop 有反向传播的前馈多层神经网络与强化学习一起使用，以帮助它概括我们的代理所做的 Action 。也就是说，如果我们有一个很大的状态空间，我们可以做一些 Action ，它们将有助于泛化整个状态空间。

相反，循环神经网络做什么？它们一般用于什么任务？

Answer 1

循环神经网络，简称 RNN(尽管请注意，RNN 在文献中经常被用来表示随机神经网络，它实际上是循环神经网络的一个特例)，具有非常不同的“风格”，这导致它们表现出各种行为和特征。然而，总的来说，这些行为和特征的阴影是 Root 于对单个神经元的 [反馈] 输入的可用性 .这种反馈来自网络的其他部分，无论是本地的还是远程的，来自同一层(在某些情况下包括“自我”)，甚至来自不同的层 (*)。它被视为“正常”的反馈信息输入神经元，然后至少部分地影响它的输出。

不像 反向传播它在前馈网络的学习阶段使用，目的是微调各种 [仅前馈] 连接的相对权重，RNN 中的反馈构成了它们连接到的神经元的真实输入。

反馈的用途之一是 使网络对输入中的噪声和其他缺陷更具弹性 (即作为一个整体输入到网络)。这样做的原因是，除了“直接”与网络输入(前馈网络中可能存在的输入类型)有关的输入之外，神经元还拥有有关其他神经元“正在思考”什么的信息。这个额外的信息会导致 Hebbian learning ，即[通常]一起激发的神经元应该“鼓励”彼此激发的想法。实际上，来自“类似发射”的相邻神经元(或不那么近的神经元)的这种额外输入可能会促使神经元发射，即使它的非反馈输入可能不会发射(或发射强度较低，取决于网络类型)。

对输入缺陷的这种弹性的一个例子是 联想内存 ，RNN 的常见应用。这个想法是使用反馈信息来“填补空白”。

反馈的另一个相关但独特的用法是 抑制信号 ，由此给定的神经元可以了解到，虽然它的所有其他输入都会促使它触发，但来自网络其他部分的特定反馈输入通常表明其他输入以某种方式不可信(在此特定上下文中)。

反馈的另一个极其重要的用途是，在某些架构中它可以 向系统引入时间元素 .一个特定的 [反馈] 输入可能不会太多地指示神经元它 [现在] 的“想法”，而是“提醒”神经元说，两个周期前(无论周期可能代表什么)，网络状态(或其中之一)它的子状态)是“X”。这种“记住”[通常]最近过去的能力是输入中对噪声的适应能力的另一个因素，但其主要兴趣可能是将“预测”引入学习过程。这些延时输入可能被视为来自网络其他部分的预测:“我在走廊里听到了脚步声，希望听到门铃[或 key 洗牌]”。

(*) 顺便说一句，在规定允许的连接(无论是反馈还是前馈)的“规则”中有如此广泛的自由，解释 为什么有这么多不同的 RNN 架构 及其变体)。有这么多不同架构的另一个原因是，与前馈模型相比，RNN 的一个特点是它们在数学上或其他方面都不容易处理。因此，在数学洞察力或简单的试错法的插入下，正在尝试许多不同的可能性。

这并不是说反馈网络完全是黑盒子，实际上一些 RNN，例如 Hopfield Networks比较好理解。只是数学通常更复杂(至少对我来说;-))

我认为上述内容一般(太笼统!)解决了被吞噬的极乐世界(OP)的“RNN 做什么代替”以及“它们用于一般任务”的问题。为了补充这些信息，这里有一份关于 RNN 应用的不完整和非正式的调查。收集这样一个列表的困难是多方面的:

前馈网络和 RNN 之间应用的重叠(因此这隐藏了 RNN 的特异性)

应用程序通常高度特化的性质(我们要么停留在过于复杂的概念，例如“分类”，要么深入研究“饱和苯系列中碳位移的预测”;-))

当在粗化文本中描述时，通常与神经网络相关的炒作

无论如何，这是 list

建模，特别是学习 [oft' 非线性] 动态系统

分类(现在，FF Net 也用于...)

组合优化

此外，还有很多与 RNN 的时间维度相关的应用(另一个通常找不到 FF 网络的领域)

移动侦测

负荷预测(与公用事业或服务一样:预测短期负荷)

信号处理:滤波和控制