python - tensorflow CNN损失函数在tensorboard中上下(振荡)，如何去除它们？

Question

我正在使用 tensorflow 在 Audioset2017 数据集上训练 ResNet50在训练和验证结果期间，我的损失函数波动，总体趋势是下降的，但我担心这一点。

我已经运行了 100 个时期，批量大小=100。并有降低和提高学习率，但没有效果。

想知道我的训练是否正确，我可以使用这个网络吗？或者它会导致错误的结果。我可以用一些技巧删除它们吗？这些是我的训练和验证(评估)损失和其他指标图片(来自张量板)。

验证模式:

火车模式:

Answer 1

似乎在 12k 步之后，模型开始过度拟合。训练损失进一步减少，而验证损失(泛化误差)再次缓慢增加。在此之后，训练模型只会让情况变得更糟。

在下图中，您处于过度拟合区域。

(来自 www.deeplearningbook.org )

您可能希望通过增加正则化来降低模型对训练数据过度拟合的能力。例如，L2 权重正则化或 dropout .

至于振荡。鉴于您的批量大小为 100，它们可能是自然的。