python - Keras LSTM 层实现背后的架构是什么？

Question

输入维度如何转换为 Keras 中 LSTM 层的输出维度？来自阅读 Colah 的 blog post , 似乎 "timesteps" 的数量(又名 input_dim 或 input_shape 中的第一个值)应该等于神经元的数量，它应该等于此 LSTM 层的输出数量(由 LSTM 层的 units 参数描述)。

来自阅读this post ，我了解输入形状。让我感到困惑的是 Keras 如何将输入插入每个 LSTM“智能神经元”。

Keras LSTM reference

令我困惑的示例代码:

model = Sequential()
model.add(LSTM(32, input_shape=(10, 64)))
model.add(Dense(2))

据此，我认为 LSTM 层有 10 个神经元，每个神经元被馈入一个长度为 64 的向量。然而，它似乎有 32 个神经元，我不知道每个神经元被馈入什么。我知道，为了让 LSTM 连接到密集层，我们只需将所有 32 个输出插入 2 个神经元中的每一个。令我困惑的是 LSTM 的 InputLayer。

( similar SO post but not quite what I need )

Answer 1

2020 年回顾和更新:我部分正确!该架构是 32 个神经元。 10 代表时间步值。每个神经元被输入一个 64 长度的向量(可能代表一个词向量)，代表超过 10 个时间步长的 64 个特征(可能是 64 个有助于识别一个词的词)。

32代表神经元的数量。它表示该层有多少隐藏状态，也表示输出维度(因为我们在每个 LSTM 神经元的末尾输出一个隐藏状态)。

最后，最后一个时间步从 32 个神经元生成的 32 维输出向量被馈送到一个由 2 个神经元组成的 Dense 层，这基本上意味着将 32 个长度的向量插入两个神经元，在输入和激活上有权重.

更多阅读和一些有用的答案:

• Understanding Keras LSTMs
• What exactly am I configuring when I create a stateful LSTM layer with N units
• Initializing LSTM hidden states withKeras