machine-learning - ResNet - 在用于验证的同一数据集上分类(而非训练)期间为 NaN

Question

一些非常快速的背景:

在 GTX 1080 上使用最新的 Caffe 分支在 Ubuntu 16.04 LTS 上进行训练

OSX 上的分类

我想知道是否有人可以阐明这个问题。我正在使用 here 中的 caffe 微调 ResNet-50 。我正在用一个小数据集进行实验。对于训练，我有大约 1248 个图像，对于验证，我有 1656 个图像。每次在训练期间进行测试时，我都会检查整个验证集。

现在，在训练过程中，我没有看到任何 NaN 或任何表明梯度爆炸或类似情况的东西。没有 NaN、infs 或任何奇怪的东西。当我加载网络并尝试对训练期间用于验证的相同图像进行分类时，会出现 NaN。知道这是为什么吗？这是否是 GPU 架构与 CPU 架构在执行训练与分类计算方面的差异？

[编辑:我没有进行任何预处理]

[编辑2:这似乎是随机的。如果我再次运行相同的图像，网络将正确输出概率，否则将再次输出 NaN。我目前的解决方案是通过网络运行相同的图像，直到出现非 NaN，但有时，这需要一段时间]

Answer 1

也许是不同类型的预处理。对于 NaN 输入，您会得到 NaN 输出。因此，如果您以某种方式在预处理(标准化？)中除以 0，则可能会发生这种情况。