Tensorflow:损失减少，但精度稳定

Question

我的团队正在 Tensorflow 中训练 CNN，以对损坏/可接受的部件进行二元分类。我们通过修改 cifar10 示例代码来创建我们的代码。在我之前使用神经网络的经验中，我总是训练到损失非常接近 0(远低于 1)。但是，我们现在正在训练期间(在单独的 GPU 上)使用验证集评估我们的模型，在大约 6.7k 步后精度似乎停止增加，而在超过 40k 步后损失仍在稳步下降。这是由于过度拟合吗？一旦损失非常接近于零，我们是否应该期望看到准确度再次飙升？当前的最大精度是 Not Acceptable 。我们应该杀死它并继续调整吗？你有什么建议吗？这是我们修改后的代码和训练过程图。

https://gist.github.com/justineyster/6226535a8ee3f567e759c2ff2ae3776b

Precision and Loss Images

Answer 1

二元交叉熵损失的减少并不意味着准确性的增加。考虑标签 1，在时间步长 1、2、3 和分类阈值 0.5 的预测 0.2、0.4 和 0.6。时间步长 1 和 2 会减少损失，但不会增加准确性。

通过过度拟合训练数据来确保您的模型具有足够的容量。如果模型对训练数据过度拟合，请使用正则化技术(例如 dropout、L1 和 L2 正则化以及数据增强)来避免过度拟合。

最后，确认您的验证数据和训练数据来自同一分布。