machine-learning - 关于在 RNN (Keras) 中正确使用 dropout

Question

我对如何在 keras 中正确使用 RNN(特别是 GRU 单元)中的 dropout 感到困惑。 keras 文档引用了这篇论文( https://arxiv.org/abs/1512.05287 )，我知道所有时间步长都应该使用相同的 dropout mask。这是通过指定 GRU 层本身时的 dropout 参数来实现的。我不明白的是:

1. 为什么互联网上有几个示例，包括 keras 自己的示例 ( https://github.com/keras-team/keras/blob/master/examples/imdb_bidirectional_lstm.py ) 和 Andrew Ng 的 Coursera Seq 中的“触发词检测”作业。模型类(class)，他们明确添加了一个 dropout 层“model.add(Dropout(0.5))”，据我了解，这将为每个时间步添加不同的掩码。

2. 上面提到的论文表明，这样做是不合适的，并且由于这种丢失噪声在所有时间步长上的积累，我们可能会丢失信号以及长期内存。但是，这些模型(在每个时间步使用不同的 dropout mask)如何能够良好地学习和表现。

我自己训练了一个模型，该模型在每个时间步都使用不同的 dropout mask，尽管我没有得到我想要的结果，但该模型能够过度拟合训练数据。根据我的理解，这会使所有时间步长上的“噪声累积”和“信号丢失”失效(我有 1000 个时间步长序列输入到 GRU 层)。

对这种情况的任何见解、解释或经验都会有所帮助。谢谢。

更新:

为了更清楚地说明，我将提到 Dropout Layer 的 keras 文档中的摘录(“noise_shape:表示将与输入相乘的二进制 dropout mask 的形状的一维整数张量。例如，如果您的输入有shape (batch_size, timesteps, features) 并且您希望所有时间步长的 dropout mask 都相同，则可以使用 Noise_shape=(batch_size, 1, features")。因此，我相信，可以看出，当显式使用 Dropout 层并且在每个时间步都需要相同的掩码时(如论文中提到的)，我们需要编辑这个 noise_shape 参数，这在我之前链接的示例中没有完成.

Answer 1

正如 Asterisk 在评论中所解释的那样，循环单元内的 dropout 和单元输出后的 dropout 之间存在根本区别。这是 keras tutorial 中的架构您在问题中链接:

model = Sequential()
model.add(Embedding(max_features, 128, input_length=maxlen))
model.add(Bidirectional(LSTM(64)))
model.add(Dropout(0.5))
model.add(Dense(1, activation='sigmoid'))

您在 LSTM 完成计算之后添加了一个 dropout 层，这意味着该单元中不会再有任何循环遍历。想象一下，这个 dropout 层教导网络不要依赖特定时间步长的特定特征的输出，而是概括不同特征和时间步长的信息。这里的 Dropout 与前馈架构没有什么不同。

什么Gal & Ghahramani在他们的论文(您在问题中链接)中提出的建议是在循环单元内退出。在那里，您将在序列的时间步之间放置输入信息。我发现this blogpost对于理解本文及其与 keras 实现的关系非常有帮助。