python - 凯拉斯 + tensorflow : Debug NaNs

Question

这是一个关于如何在 tensorflow 图中找到 Nan 的第一次出现的好问题:

Debugging nans in the backward pass

答案很有帮助，这是它的代码:

train_op = ...
check_op = tf.add_check_numerics_ops()

sess = tf.Session()
sess.run([train_op, check_op])  # Runs training and checks for NaNs

显然，同时运行训练和数值检查将在第一次遇到 Nan 时立即导致错误报告。

如何将其集成到 Keras 中？在文档中，我找不到类似这样的内容。

我也检查了代码。更新步骤在这里执行: https://github.com/fchollet/keras/blob/master/keras/engine/training.py

有一个名为 _make_train_function 的函数，其中创建了计算损失和应用更新的操作。稍后调用它来训练网络。

我可以像这样更改代码(始终假设我们在 tf 后端上运行):

check_op = tf.add_check_numerics_ops()

self.train_function = K.function(inputs, 
    [self.total_loss] + self.metrics_tensors + [check_op],
    updates=updates, name='train_function', **self._function_kwargs)

我目前正在尝试正确设置它，但不确定上面的代码是否真的有效。也许有更简单的方法？

Answer 1

我遇到了完全相同的问题，并找到了 check_add_numerics_ops() 函数的替代方法。我没有走那条路，而是使用 TensorFlow Debugger 遍历我的模型，按照 https://www.tensorflow.org/guide/debugger 中的示例弄清楚我的代码在哪里生成 nan。此代码段应可用于将 Keras 使用的 TensorFlow session 替换为调试 session ，从而允许您使用 tfdbg。

from tensorflow.python import debug as tf_debug
sess = K.get_session()
sess = tf_debug.LocalCLIDebugWrapperSession(sess)
K.set_session(sess)