neural-network - keras 损失在新纪元开始时随机跳到零

Question

我正在训练一个具有多重损失的网络，并且使用生成器创建数据并将数据馈送到我的网络中。

我已经检查了数据的结构，它总体上看起来不错，并且在大多数情况下也几乎按照预期进行了训练，但是在几乎每次随机时期，每个预测的训练损失突然从

# End of epoch 3
loss: 2.8845 

到

# Beginning of epoch 4
loss: 1.1921e-07

我认为这可能是数据，但是，据我所知，数据通常很好，而且更加可疑，因为这将发生在随机时期(可能是因为在 SGD 期间选择了随机数据点？)但会持续存在在剩下的训练中。就像在 epoch 3，训练损失减少到 1.1921e-07那么它将在第 4 期、第 5 期等中以这种方式继续。

但是，有时它到达 epoch 5 并且还没有这样做，然后可能会在 epoch 6 或 7 进行。

在数据之外是否有任何可行的原因可能导致这种情况？一些模糊的数据点会导致如此快吗？

谢谢

编辑:

结果:

300/300 [==============================] - 339s - loss: 3.2912 - loss_1: 1.8683 - loss_2: 9.1352 - loss_3: 5.9845 - 
val_loss: 1.1921e-07 - val_loss_1: 1.1921e-07 - val_loss_2: 1.1921e-07 - val_loss_3: 1.1921e-07

此后的下一个时期都有训练损失 1.1921e-07

Answer 1

不完全确定这是一个多么令人满意的答案，但我的发现似乎表明，将多个 categorical_crossentropy 损失一起使用似乎会导致网络 super 不稳定？将其替换为其他损失函数可以解决数据保持不变的问题。