python - PyTorch LSTM 输入维度

Question

我正在尝试使用 PyTorch LSTM 训练一个简单的 2 层神经网络，但在解释 PyTorch 文档时遇到困难。具体来说，我不太确定如何处理我的训练数据的形状。

我想要做的是通过小批量在非常大的数据集上训练我的网络，其中每个批量大约有 100 个元素长。每个数据元素将有 5 个特征。文档指出该层的输入应该是形状(seq_len、batch_size、input_size)。我应该如何调整输入？

我一直在关注这篇文章:https://discuss.pytorch.org/t/understanding-lstm-input/31110/3如果我的解释正确，每个小批量的形状应该是 (100, 100, 5)。但在这种情况下，seq_len和batch_size有什么区别？另外，这是否意味着输入 LSTM 层的第一层应该有 5 个单元？

谢谢!

Answer 1

这是一个老问题，但由于它已经被浏览了 80 多次而没有任何回应，所以让我来解决一下。

LSTM 网络用于预测序列。在 NLP 中，这将是一个单词序列；在经济学中，一系列经济指标；等等

第一个参数是这些序列的长度。如果你的序列数据是由句子组成的，那么“Tom has a black andugly cat”是一个长度为 7 (seq_len) 的序列，每个单词一个，也可能是第 8 个单词表示句子的结尾。

当然，您可能会反对“如果我的序列长度不同怎么办？”这是一种常见的情况。

两种最常见的解决方案是:

1. 用空元素填充序列。例如，如果最长的句子有 15 个单词，则将上面的句子编码为“[Tom] [has] [a] [black] [and] [ugly] [cat] [EOS] [] [] [] [] [] [] []”，其中 EOS 代表句子结尾。突然，你的所有序列的长度都变成了 15，这解决了你的问题。一旦找到 [EOS] 代币，模型就会很快了解到它后面是无限序列的空代币 []，这种方法几乎不会对您的网络造成负担。

2. 发送相同长度的小批量。例如，在所有包含 2 个单词的句子上训练网络，然后使用 3 个单词，然后使用 4 个单词。当然，seq_len 将在每个小批量中增加，并且每个小批量的大小将根据长度为 N 的序列的数量而变化您的数据中有。

一种两全其美的方法是将数据划分为大小大致相等的小批量，按大致长度对它们进行分组，并仅添加必要的填充。例如，如果您将长度为 6、7 和 8 的句子进行小批量处理，则长度为 8 的序列将不需要填充，而长度为 6 的序列将只需要 2。如果您有一个包含长度变化很大的序列的大型数据集，这是最好的方法。

不过，选项 1 是最简单(也是最懒)的方法，并且在小型数据集上效果很好。

最后一件事...始终在末尾填充数据，而不是在开头。

希望对您有所帮助。