neural-network - 在神经网络中哪里添加dropout？

Question

我在神经网络的不同部分看到了关于 dropout 的描述:

在权重矩阵中丢失，

在矩阵乘法之后和relu之前，隐藏层中的dropout，

在relu之后的隐藏层dropout，

和 softmax 函数之前的输出分数中的 dropout

我对应该在哪里执行辍学感到有些困惑。有人可以帮忙详细说明一下吗？谢谢!

Answer 1

所以:

您描述的第一种用法称为权重丢失。

您描述的第二个和第三个用法是相同的，它们通常被描述为激活时丢失。人们可能很容易注意到，当整行(或列 - 取决于实现)关闭时，它可能会以权重的丢失来表示。

在第 4 种情况下，这不是 dropout 的正确用法-您要在其上使用 dropout 的层是输出层-因此在那里使用 dropout 并不是最好的主意。