lstm - LSTM 单元如何映射到层？

Question

我无法准确理解 LSTM 单元的范围——它如何映射到网络层。来自格雷夫斯 (2014):

在我看来，在单层网络中，layer = lstm 单元。这实际上如何在多层 rnn 中工作？

三层RNN


LSTM 单元


单元格的输出是 h_t，没有表示特定层的 super 索引。等式也是一样。每个单元格是否跨越单个层？或者每个单元格是否在每个时间步跨越整个三个节点？

Answer 1

每个节点名称为 h图 1 中的代表一个 LSTM 单元。请注意 h_{t-1} , h{t}和 h{t+1}具有相同 super 索引的是相同的单元格。它们只是及时展开。然而，不同的 super 索引代表不同的 LSTM 单元。

具有 super 索引 2 或 3 的单元格的输入不仅仅是数据样本 x但也是前一个单元格的输出。

你是对的。单层 RNN 网络由一个 LSTM 单元组成。在多层 RNN 情况下，中间 LSTM 单元的输入是前一个 LSTM 单元的输出。在图1中，数据样本x还与 LSTM 输出一起输入。