machine-learning - keras 模型中的 NaN 损失

Question

我有大约 100k 个“数据批处理”的顺序数据，我正在这些数据上运行一个相当复杂的循环模型(120k 参数)。在某个点(看起来相当随机)之后，损失变为 nan。我尝试了以下方法

1. 检查了非数字数据，结果没有问题
2. 梯度将其裁剪为范数 1
3. 约束每一层的参数，
4. 降低了学习率并添加到 RMSProp 中的 epsilon，但在某个点后我仍然得到 NaN。

我还可以尝试调试其他什么吗？

Answer 1

没有代码，我只能给出一个非常笼统的答案:

当您执行以下操作时，可能会发生 NaN:

• 除以 0
• 太小的数的对数
• 负数的平方

查看优化指标，看看在您的情况下可能会发生什么。寻找(绝对)数字可能变得非常大或非常小的点。通常，添加一个小常数可以解决问题。

还有许多其他案例，可能与您无关:

• 反正弦在 [-1, 1] 之外
• float ('inf')/ float ('inf')
• 0 * float ('inf')

另请参阅:我的 debugging neural networks 指南