python - 如果我的任何模型变量为 NaN，如何在 TensorFlow 中检查？

Question

我的模型是:

weights = {
    'h1': tf.Variable(tf.random_normal([num_input, num_hidden_1]),name="h1"),
    'h2': tf.Variable(tf.random_normal([num_hidden_1, num_hidden_2]),name="h2"),
    'h3': tf.Variable(tf.random_normal([num_hidden_2, num_hidden_3]),name="h3"),
    'wout': tf.Variable(tf.random_normal([num_hidden_3, num_output]),name="wout")
}

biases = {
    'b1': tf.Variable(tf.random_normal([num_hidden_1]),name="b1"),
    'b2': tf.Variable(tf.random_normal([num_hidden_2]),name="b2"),
    'b3': tf.Variable(tf.random_normal([num_hidden_3]),name="b3"),
    'bout': tf.Variable(tf.random_normal([num_output]),name="bout")
}

我知道如何使用 tf.is_nan 检查单个元素是否为 NaN:

def save_weights():
    if sess.run(tf.is_nan(sess.run(weights["h1"]).tolist()[0][0])):
        utils.printflush("weights have nan, refused to save")

当然，我可以循环遍历 Python 中的所有元素，但是对于一百万个权重和偏差，这非常耗时。是否有 TensorFlow 操作可以执行此操作(迭代我的所有模型变量)？

Answer 1

您可以使用tf.reduce_any检查张量的至少一个元素是否不为零。

另一方面，您可能想查看tf.verify_tensor_all_finite ，如果在张量上发现 NaN 或无限值，这将中断执行(请阅读 tf.Assert 的文档以了解如何在图上使用断言)。

无论如何，请记住所有这些函数(包括 tf.is_nan)都会在图中创建新操作。最好首先创建所有操作，然后根据需要调用 run，以确保您的图形不会在每次运行时不必要地增长。