machine-learning - 为什么每个 epoch 之后损失都会突然下降？

Question

我正在小批量中使用自定义损失函数(三元组损失)，在纪元期间，损失逐渐减少，但在每个纪元之后，损失会突然下降(约下降的 10％)，然后在期间逐渐减少那个时代(忽略准确性)。正常吗？

对此问题的每一个答案和引用都将受到赞赏。

纪元 1/5198/198 [================================] - 3299s 17s/步 - 损失:0.2500 - 加速:0.0014纪元 2/5 99/198 [==============>.................................] - 预计到达时间:26:16 - 损失:0.1220 - 累积费用:0.0016

Answer 1

注意:此答案假设您正在使用 Keras - 您可能希望将此信息添加到您的帖子中，或者至少添加一个相关标签。

是的，这是因为显示的值是该时期的平均值。考虑epoch 1。在训练开始时，损失通常会很大。然后它会减小，但第 1 纪元的显示值仍将包含平均值中从一开始就较大的值。例如，假设开始时的损失为 0.75，并线性下降到 0.25，直到第一个 epoch 结束；这意味着平均值为 0.5，这将是第 1 轮显示的值。

一旦 epoch 2 开始，平均值就会重置，并将针对该 epoch 再次计算。让我们继续这个例子，因此在 epoch 2 开始时损失为 0.25，并线性减少到 0。这意味着 epoch 2 显示的损失将为 0.125!但更重要的是，它将开始于 0.25，因此在纪元开始时，您将看到与纪元 1 所示的 0.5 值相比大幅下降。