Keras:LSTM dropout 和 LSTM recurrent dropout 的区别

Question

来自 Keras 文档:

dropout:在 0 和 1 之间 float 。要丢弃的单位分数 输入的线性变换。

recurrent_dropout:在 0 和 1 之间 float 。 drop 用于循环状态的线性变换。

谁能指出下图中每次丢失发生的位置吗？

Answer 1

我建议看一下(第一部分)this paper 。常规 dropout 应用于输入和/或输出，这意味着从 x_t 到 h_t 的垂直箭头。在您的情况下，如果您将其作为参数添加到图层中，它将屏蔽输入；您可以在循环层之后添加一个 Dropout 层来屏蔽输出。循环丢失屏蔽(或“丢弃”)循环单元之间的连接；这就是图片中的水平箭头。

这张图片取自上面的论文。左边是输入和输出的定期丢失。右边是常规辍学加上经常性辍学:

(在这种情况下忽略箭头的颜色；在论文中，他们进一步指出在每个时间步保持相同的丢失蒙版)