machine-learning - 具有不同序列长度输入的循环神经网络 (RNN)

Question

我有不同长度的输入文本，从几个字符到数百个单词，因此我决定为每个批处理使用不同的MAX_LENGTH，而不是为所有批处理固定MAX_LENGTH(显然更短)对于较小的文本，为 MAX_LENGTH)。

谷歌搜索后我看到this Keras github 页面中的线程给出了以下解决方案:

Sequences should be grouped together by length, and segmented manually into batches by that length before being sent to Keras.

如果我使用这个技巧，我猜想在训练时无法对数据进行洗牌，并且可能会导致过度拟合。

我在 Kaggle 中看到很多使用这个技巧的讨论。我想知道这个问题还有其他解决办法吗？

Answer 1

有一个解决方案，即使用虚拟值填充数据，以便所有输入序列具有相同的长度。

假设您有这两个序列:

• [1,2,3,1,2]，你将其保留为[1,2,3,1,2]
• [1,3,2,3]，用零填充它，直到达到所需的长度:[1,3,2,3,0]

然后你用 Masking 开始你的模型层。

这将自动忽略样本中的额外长度。