python - Keras 损失仅在 epoch 结束时变为 nan

Question

我观察到 Keras 的一些奇怪行为。我正在训练一个小模型，其中训练损失仅在第一个时期结束时才变为 nan。

因此，如果我有 100 个批处理，并且我在第 99 个批处理终止训练，然后恢复另外 99 个批处理，则训练效果良好。否则，一旦到达一个纪元的末尾，它总是返回 nan。

我正在使用自定义损失函数:

def corr(x, y):
    xc = x - K.mean(x)
    yc = y - K.mean(y)
    r_num = K.mean(xc*yc) 
    r_den = K.std(x)*K.std(y)
    return r_num/r_den

我已经尝试了所有标准技巧，例如降低学习率、削减梯度的范数和值以及增加批量大小。只有在将批量大小增加到不切实际的情况，例如 100,000(我有 100 万个数据点)时，它实际上才会持续经过一个纪元，但我想了解最后发生了什么导致了这种奇怪的行为。我还尝试了不同的优化器(当前使用 Adam)，并在不同的系统上进行了尝试，以确保这在我的一台计算机上不是问题。

我的输入和输出是一维的，我的模型总结如下。

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_7 (InputLayer)         (None, 1)                 0         
_________________________________________________________________
dense_7 (Dense)              (None, 100)               200       
_________________________________________________________________
dense_8 (Dense)              (None, 100)               10100     
_________________________________________________________________
dense_9 (Dense)              (None, 1)                 101       
=================================================================
Total params: 10,401
Trainable params: 10,401
Non-trainable params: 0
_________________________________________________________________

Keras 在一个时代结束时有什么特别的吗？除了标准记录器回调之外，我找不到任何其他东西。我还编写了一个自定义回调，它每批评估我的模型并存储输出，当我随着时间的推移绘制它时，它似乎不会爆炸或做任何奇怪的事情。看起来只是在慢慢改善，然后训练就结束了。

Answer 1

可能是由损失函数中除以零引起的。通过添加一个小常数来确保分母始终为正。您可以使用 K.epsilon() 来实现此目的:

    return r_num / (r_den + K.epsilon())