machine-learning - 卷积网络中的一些过度拟合可以吗？

Question

我正在使用 resnet50 对 Kaggle 数据集中的花朵图片进行分类。我想澄清一些有关我的结果的事情。

 epoch  train_loss  valid_loss  error_rate  time

   0    0.205352    0.226580    0.077546    02:01

   1    0.148942    0.205224    0.074074    02:01

这是最后两个训练周期。正如您所看到的，第二个纪元显示出一些过度拟合，因为 train_loss 比验证损失低很多。尽管存在过度拟合，error_rate 和验证损失还是下降了。我想知道尽管存在过度拟合，模型是否确实有所改进。对于未见过的数据，使用 epoch 0 或 epoch 1 的模型是否更好？谢谢!

Answer 1

可悲的是，“过度拟合”如今是一个被滥用的术语，过去几乎指所有与性能不佳相关的事情；然而，实际上，过度拟合意味着一些非常具体的事情:它的明显特征特征是当你的验证损失开始增加，而你的训练损失继续减少时，即:

(图片改编自维基百科条目overfitting)

很明显，在你的情况下没有发生任何事情；训练和验证损失之间的“裕度”完全是另一个故事(称为 generalization gap )，并不意味着过度拟合。

因此，原则上，您绝对没有理由选择具有较高验证损失的模型(即您的第一个模型)而不是验证损失较低的一个(你的第二个)。