neural-network - 为什么 dropout 会阻止卷积神经网络的收敛？

Question

我正在使用 tensorflow 来训练一个 convnet，其中包含 22 个类别的 15000 张训练图像。我有 2 个卷积层和一个全连接层。我已经用 15000 张图像训练了网络，并且在训练集上经历了收敛和高精度。

但是，我的测试集的准确度要低得多，所以我假设网络过度拟合。为了解决这个问题，我在网络的全连接层之前添加了 dropout。

但是，添加 dropout 导致网络在多次迭代后始终无法收敛。我想知道为什么会这样。我什至使用了很高的 dropout 概率(保持概率为 0.9)并且经历了相同的结果。

Answer 1

好吧，通过使您的保持丢失概率为 0.9，这意味着在每次迭代中，该神经元连接有 10% 的机会断开。 所以对于 dropout 也应该有一个最佳值 .

如上所述，您可以通过 dropout 理解我们也在缩放我们的神经元。上面的情况是 0.5 drop out 。如果它是 o.9，那么同样会有不同的缩放比例。
所以基本上如果它是 0.9 dropout 保持概率，我们需要将它缩放 0.9。这意味着我们在测试中得到了 0.1 大的东西。
仅凭这一点，您就可以了解 dropout 会如何影响 .因此，根据某些可能性，它可能会使您的节点等饱和，从而导致非收敛问题。