tensorflow - 如何正确使用变分循环 dropout

Question

tensorflow config dropout wrapper具有可以设置的三种不同的丢失概率:input_keep_prob、output_keep_prob、state_keep_prob。

我想通过将 variational_recurrent 参数设置为 true，为我的 LSTM 单元使用变分 dropout。但是，我不知道必须使用三个丢失概率中的哪一个才能使变分丢失正确运行。

有人可以提供帮助吗？

Answer 1

根据这篇论文https://arxiv.org/abs/1512.05287用于实现variational_recurrent dropouts，你可以考虑如下，

• input_keep_prob - 丢失输入连接的概率。

• output_keep_prob - 丢失输出连接的概率。

• state_keep_prob - 断开重复连接的概率。

见下图

如果将 variational_recurrent 设置为 true，您将得到一个与右侧模型类似的 RNN，否则与左侧模型类似。

上述两种模型的基本区别是，

• 变分 RNN 每次重复相同的 dropout mask输入、输出和循环层的步骤(丢弃每个时间步的网络单元相同)。

• 原生 RNN 在每个时间步使用不同的 dropout mask单独的输入和输出(不使用dropout与循环连接，因为这些连接使用了不同的掩码导致性能下降)。

上图中，彩色连接代表dropout连接，不同颜色对应不同的dropout mask。虚线对应于没有丢失的标准连接。

因此，如果您使用变分 RNN，您可以根据您的要求设置所有三个概率参数。

希望这有帮助。