gradient-descent - TensorFlow的ReluGrad声称输入不是有限的

Question

我正在尝试TensorFlow，但遇到了一个奇怪的错误。我编辑了较深的MNIST示例，以使用另一组图像，该算法再次很好地收敛，直到迭代8000(此时的精度为91％)崩溃并出现以下错误。

tensorflow.python.framework.errors.InvalidArgumentError: ReluGrad input is not finite

起初，我认为某些系数可能已达到 float 上限，但在所有权重和偏差上添加l2正则化并不能解决问题。它始终是从stacktrace中出来的第一个relu应用程序:

h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)

我目前仅在CPU上工作。知道什么会导致这种情况以及如何解决吗？

编辑:我追溯到这个问题 Tensorflow NaN bug?，那里的解决方案有效。

Answer 1

错误归因于0log(0)

可以通过以下方法避免这种情况:

cross_entropy = -tf.reduce_sum(y*tf.log(yconv+ 1e-9))