tensorflow - 如何解释损失和准确性的增加

Question

我已经使用 tensorflow 运行了深度学习模型(CNN)。在这个时期，我多次观察到损失和准确性都增加了，或者都减少了。我的理解是两者总是成反比的。两者同时增加或减少的情况是什么？

Answer 1

损失随着训练过程的进行而减少，除了小批量梯度下降和/或诸如丢包(引入随机噪声)之类的正则化技术引入的一些波动之外。

如果损失减少，则说明培训过程进展顺利。

(我认为是)验证的准确性，是对模型预测的良好程度的度量。

如果模型是学习的，则准确性会提高。如果模型过拟合，则精度将停止增加，甚至可能开始下降。

如果损失减少且精度降低，则表明模型过度拟合。

如果损失增加而准确性也增加，则是因为您的正则化技术运行良好，并且您正在解决过度拟合的问题。仅当损失开始减少而精度继续增加时，这才是正确的。
否则，如果损失持续增长，那么您的模型就会出现分歧，您应该寻找原因(通常您使用的学习率值过高)。