neural-network - 为什么在验证和测试期间禁用 dropout？

Question

我已经在多个地方看到您应该在验证和测试阶段禁用 dropout，并且只在训练阶段保留它。有什么理由让这种情况发生吗？我一直找不到一个很好的理由，只是想知道。

我问的一个原因是因为我训练了一个带有 dropout 的模型，结果很好 - 大约 80% 的准确率。然后，我继续验证模型，但忘记将概率设置为 1，模型的准确度下降到大约 70%。有必要那么激烈吗？是否像在每个 dropout 层中将 prob 设置为 1 一样简单？

提前致谢!

Answer 1

Dropout 是一个随机过程，在概率为 p 的层中禁用神经元。这将使某些神经元在每次迭代中都觉得它们是“错误的”——基本上，你是让神经元对它们的输出感到“错误”，这样它们就更少地依赖于前一层节点的输出。这是一种正则化方法，可以减少过拟合。
但是，不应该使用 dropout 来测试数据的主要原因有两个:

Dropout 使神经元故意输出“错误”值

因为您随机禁用神经元，所以您的网络每次(序列)激活都会有不同的输出。这破坏了一致性。

但是，您可能想阅读更多关于验证/测试究竟是什么的内容:

Training set: a set of examples used for learning: to fit the parameters of the classifier In the MLP case, we would use the training set to find the “optimal” weights with the back-prop rule

Validation set: a set of examples used to tune the parameters of a classifier In the MLP case, we would use the validation set to find the “optimal” number of hidden units or determine a stopping point for the back-propagation algorithm

Test set: a set of examples used only to assess the performance of a fully-trained classifier In the MLP case, we would use the test to estimate the error rate after we have chosen the final model (MLP size and actual weights) After assessing the final model on the test set, YOU MUST NOT tune the model any further!

Why separate test and validation sets? The error rate estimate of the final model on validation data will be biased (smaller than the true error rate) since the validation set is used to select the final model After assessing the final model on the test set, YOU MUST NOT tune the model any further!

source : Introduction to Pattern Analysis,Ricardo Gutierrez-OsunaTexas A&M University, Texas A&M University (answer)

因此，即使是为了验证，如果节点具有被停用的随机概率，您将如何确定要删除哪些节点？