python - 我应该多久检查一次过度拟合？我如何自动检测/采取行动？

Question

我对机器学习和神经网络都很陌生，并且一直在阅读“http://neuralnetworksanddeeplearning.com” '这在第三章中解决了过度拟合问题。

作者在每个时期后让他的示例模型在他的测试集上运行，这样他就可以构建图表来显示训练准确性和测试准确性(或成本的变化)。

我目前正在编辑我的程序，以便我的神经网络每 2 个时期后在测试集上运行，然后我将构建一个时期与测试准确性的图表。我猜这太频繁了，但我不确定......

作者表示，一旦测试准确率的变化停止增加，就会发生过拟合(或者训练集的成本也停止增加)。所以我想我将编写代码来检测测试准确性何时达到稳定水平，这样我就可以自动切换训练集(全新的或来自 k 折交叉验证的不同折叠变体) - 但可能有更好的方法吗？

提前感谢您的任何建议和指导:)

Answer 1

当测试/验证损失停止改善时，这称为提前停止。 Deep Learning Book Chapter 7作者:伊恩·古德费罗等人等人。在第 7.8 节中解释了模型正则化，包括早期停止。

Keras 有一个回调来执行此检查并停止训练，并恰本地命名为 EarlyStopping 。默认情况下，它将监视 val_loss 并在停止改善时停止训练。