neural-network - 训练深度神经网络时准确率突然下降

Question

我正在使用 mxnet 来训练 11 类图像分类器。我观察到一个奇怪的行为训练准确率缓慢增加并上升到 39%，在下一个时期下降到 9%，然后在训练的其余部分保持接近 9%。
我使用保存的模型(训练准确率 39%)重新开始训练，保持所有其他参数相同。现在训练准确率再次提高。这可能是什么原因？我无法理解。以这种方式训练模型变得越来越困难，因为它需要我不断查看训练精度值。

学习率恒定为 0.01

Answer 1

如您所见，您的后期准确度接近随机准确度。在这种情况下有两个常见问题。

你的学习率很高。尝试降低它

您尝试使用的错误(或熵)为您提供 NaN 值。如果您尝试将熵与对数函数一起使用，则必须精确地使用它们。