python - SGD 优化器图

Question

我只是想问一个简单的问题。我知道 val_loss 和 train_loss 不足以判断模型是否过度拟合。但是，我希望通过监视 val_loss 是否增加来将其用作粗略的衡量标准。当我使用 SGD 优化器时，我似乎根据平滑值有两种不同的趋势。我应该使用哪个？蓝色是 val_loss，橙色是 train_loss。

从 smoothing = 0.999 开始，两者似乎都在减少，但从 smoothing = 0.927 开始，val_loss 似乎在增加。感谢您的阅读!

此外，什么时候是降低学习率的好时机？是在模型过度拟合之前吗？

Smoothing = 0.999

Smoothing = 0.927

Answer 1

根据我将深度学习应用于 CNN 的经验，过度拟合更多地与训练/验证精度/损失的差异相关，而不仅仅是其中之一。在您的图表中，很明显，损失的差异随着时间的推移而增加，这表明您的模型不能很好地推广到数据集，因此显示出过度拟合的迹象。如果可能的话，它还可以帮助您跟踪训练和验证数据集的分类准确性——这将向您显示泛化误差，该误差充当类似的指标，但可能会显示出更明显的效果。

一旦损失开始趋于平衡并且开始过度拟合，就降低学习率是一个好主意；但是，如果您首先调整网络的复杂性以更好地适应数据集，您可能会发现更好的泛化 yield 。对于这种过度拟合，复杂性的适度降低可能会有所帮助——使用训练/验证损失和准确性的差异进行确认。