neural-network - 训练精度在某些时期下降

Question

我正在训练一个 ResNet(CIFAR-10 数据集)，训练的准确度大部分(在 95% 的时期)都在增加，但有时会下降 5-10%，然后又开始增加。

这是一个例子:

Epoch 45/100
40000/40000 [==============================] - 50s 1ms/step - loss: 0.0323 - acc: 0.9948 - val_loss: 1.6562 - val_acc: 0.7404
Epoch 46/100
40000/40000 [==============================] - 52s 1ms/step - loss: 0.0371 - acc: 0.9932 - val_loss: 1.6526 - val_acc: 0.7448
Epoch 47/100
40000/40000 [==============================] - 50s 1ms/step - loss: 0.0266 - acc: 0.9955 - val_loss: 1.6925 - val_acc: 0.7426
Epoch 48/100
40000/40000 [==============================] - 50s 1ms/step - loss: 0.0353 - acc: 0.9940 - val_loss: 2.2682 - val_acc: 0.6496
Epoch 49/100
40000/40000 [==============================] - 50s 1ms/step - loss: 1.6391 - acc: 0.4862 - val_loss: 1.2524 - val_acc: 0.5659
Epoch 50/100
40000/40000 [==============================] - 52s 1ms/step - loss: 0.9220 - acc: 0.6830 - val_loss: 0.9726 - val_acc: 0.6738
Epoch 51/100
40000/40000 [==============================] - 51s 1ms/step - loss: 0.5453 - acc: 0.8165 - val_loss: 1.0232 - val_acc: 0.6963

此后我已经停止执行，但这是我的第二次运行，在第一次运行时，发生了同样的事情，一段时间后它恢复到 99%。

批处理是 128，所以我想这不是问题。我没有改变学习率或任何其他 Adam 参数，但我想这也不是问题，因为大多数时候准确性都在提高。

那么，为什么会突然下降？

Answer 1

由于训练和验证的损失和准确性都增加了，所以看起来您的优化算法暂时超过了它试图遵循的损失函数的下坡部分。

请记住梯度下降和相关方法计算一个点的梯度，然后使用它(有时还有一些额外的数据)来猜测移动的方向和距离。这并不总是完美的，有时它会走得太远，最终再次上坡。

如果你的学习率很高，你会时不时地看到这种情况，但你可能仍然比较小的学习率收敛得更快。您可以尝试不同的学习率，但除非您的损失开始发散，否则我不会担心。