tensorflow - 使用卷积网络运行时，tensorflow 会产生 nan 损失

Question

我试图在 tensorflow 中为门牌号图像创建一个卷积神经网络 http://ufldl.stanford.edu/housenumbers/

当我运行我的代码时，我在第一步中得到了 nan 的成本。这是我在代码中放置的 github 的链接 https://github.com/ibnipun10/TensorFlow/blob/master/convhouseNumbers.ipynb

请告诉我哪里出错了

Answer 1

损失是 NaN，因为梯度刚刚爆炸。

你的代码看起来不错，但你的学习率很高。尝试使用较低的学习率(如 1e-2 或 1e-3)并查看梯度是否仍然爆炸。

成瘾，我不知道你在训练中使用的图像是否刚刚被转换为浮点值并缩放以便具有零均值和单位范数，但通常这是处理图像时需要的一个步骤这有助于避免梯度爆炸。

Tensorflow 有一个函数:tf.image.per_image_whitening