python - Tensorboard 的准确度分数有所提高

Question

我一直在使用 Tensorflow 训练我的 Inception ResNet V2，并通过 TensorBoard 记录准确性/损失等。

现在，当我今天恢复训练时，在恢复之前停止的检查点时，几乎立即(在几个全局步骤中)我的准确率从 86% 跃升至 97%。

当查看损失图时，它似乎仍在逐渐减少，但准确率却有了巨大的提升。对此有明显/合乎逻辑的解释吗？我在第 21 个时期恢复训练(在第 20 个时期停止)，每个时期有 1339 个全局步骤。

Answer 1

这是因为您使用的是流准确性，它会累积自训练时间开始以来的所有统计数据。

在您停止训练之前，流式传输准确度将返回自开始以来的平均准确度。

当您恢复训练时，流准确性操作已重置，现在输出自您恢复训练以来的平均准确性。它要高得多，因为当模型较弱时，它不会对早期较低的准确度值进行平均。

我其实posted something yesterday关于如何不时重置流指标以避免这种持续累积。