python - 如果无论我如何训练网络或扩展其容量，我的网络都不会过度拟合，这意味着什么？

Question

我训练了一个模型，得到了不错的结果，但后来我变得贪婪，我想要更高的准确性，所以，我训练模型的时间越来越长，越来越长，但没有任何效果，什么也没有发生!根据理论，在某个时刻，经过过多的训练后，验证准确度必定开始下降(损失开始增加)!但这似乎从未发生过。所以，我认为神经网络可能太简单而无法过拟合，所以我增加了它的容量，最终获得了数百万个参数，并且我对其进行了 10,000 个时期的训练，仍然没有发生过拟合。

提出了同样的问题here ，但答案却并不令人满意。

这是什么意思？

Answer 1

众所周知，高容量模型。令人惊讶的是，它们对过度拟合具有抵抗力，这与经典统计学习理论相矛盾，经典统计学习理论认为，如果没有明确的正则化，你就会过度拟合。例如，this paper说

most of deep neural networks with learned parameters often generalize very well empirically, even equipped with much more effective parameters than the number of training samples, i.e. high capacity... Thus, statistical learning theory cannot explain the generalization ability of deep learning models.

此外，this和 this报纸正在谈论它。您可以继续关注这些论文中的引用文献以阅读更多内容。

就我个人而言，即使经过数十、数千个 epoch 的训练，我也从未见过高容量模型过度拟合。如果您想要过度拟合的示例:使用带有 ReLU 激活且没有 dropout 的 Cifar10 的 Lenet 5，并使用学习率 0.01 的 SGD 对其进行训练。该模型中的训练参数数量约为 6000 万个，与 Cifar10(低容量模型)中的样本数量相同。最多 500-1000 个 epoch 后，您将看到非常明显的过度拟合，随着时间的推移，损失和错误不断增加。