python-3.x - '损失: nan' during training of Neural Network in Keras

Question

我正在 Keras 中训练神经网络。在第一个 epoch 的训练过程中，损失值返回，然后在第一个 epoch 结束之前突然变为 loss: nan，从而显着降低了准确性。然后开始第二个纪元，loss: nan 继续，但精度为 0。这将持续到其余的纪元。

令人沮丧的是，每次训练的输出似乎都不一致。也就是说，loss: nan 出现在第一个 epoch 的不同点。

这个网站上有几个问题为类似的问题提供了“指南”，我只是还没有看到在 keras 中明确这样做的。我正在尝试让我的神经网络对 1 或 0 进行分类。

这是我所做的一些事情，放弃后这将是我的输出和代码。

标准化//标准化

我发布了有关我的数据的问题 here 。我能够弄清楚并在我的数据集上执行 sklearn 的 StandardScaler() 和 MinMaxScaler() 。标准化和标准化方法都没有帮助我解决问题。

学习率

我尝试过的优化器是adam和SGD。在这两种情况下，我都尝试降低标准学习率，看看这是否有帮助。出现了同样的问题。

激活

我认为使用relu是相当标准的，但我在互联网上看到有人在谈论使用tanh，尝试了一下，没有骰子。

批量大小

尝试了 32、50、128、200。50 让我最深入地进入第一个纪元，其他一切都没有帮助。

对抗过度拟合

放入一个 dropout 层并尝试了一大堆数字。

其他观察结果

• 对于数据维度来说，epoch 的训练速度非常快(我可能是错的)。
• loss: nan 可能与我的损失函数 binary_crossentropy 有关，也许某些值给损失函数带来了困难。
• kernel_initializer='uniform' 在我寻求解决这个问题的过程中没有受到影响和考虑。
• 互联网还告诉我，我的数据中可能存在 nan 值，但我认为这是因为一个错误破坏了他们的脚本。

from sklearn.preprocessing import MinMaxScaler
sc = MinMaxScaler()
X_train_total_scale = sc.fit_transform((X_train))
X_test_total_scale = sc.transform((X_test))

print(X_train_total_scale.shape) #(4140, 2756)
print(y_train.shape) #(4140,)


##NN
#adam = keras.optimizers.Adam(lr= 0.0001)
sgd = optimizers.SGD(lr=0.0001, decay=1e-6, momentum=0.9, nesterov=True)
classifier = Sequential()
classifier.add(Dense(output_dim = 1379, kernel_initializer='uniform', activation='relu', input_dim=2756))
classifier.add(Dropout(0.6))
classifier.add(Dense(output_dim = 1379, kernel_initializer='uniform', activation='relu'))
classifier.add(Dense(output_dim = 1, kernel_initializer='uniform', activation='sigmoid'))

classifier.compile(optimizer=sgd, loss='binary_crossentropy', metrics=['accuracy'])

classifier.fit(X_train_total_scale, y_train, validation_data=(X_test_total_scale, y_test), batch_size=50, epochs=100)

(显示的批量大小为 200，以避免文本 block 太大)

200/4140 [>.............................] - ETA: 7s - loss: 0.6866 - acc: 0.5400
 400/4140 [=>............................] - ETA: 4s - loss: 0.6912 - acc: 0.5300
 600/4140 [===>..........................] - ETA: 2s - loss: nan - acc: 0.5300   
 800/4140 [====>.........................] - ETA: 2s - loss: nan - acc: 0.3975
1000/4140 [======>.......................] - ETA: 1s - loss: nan - acc: 0.3180
1200/4140 [=======>......................] - ETA: 1s - loss: nan - acc: 0.2650
1400/4140 [=========>....................] - ETA: 1s - loss: nan - acc: 0.2271
1600/4140 [==========>...................] - ETA: 1s - loss: nan - acc: 0.1987
1800/4140 [============>.................] - ETA: 1s - loss: nan - acc: 0.1767
2000/4140 [=============>................] - ETA: 0s - loss: nan - acc: 0.1590
2200/4140 [==============>...............] - ETA: 0s - loss: nan - acc: 0.1445
2400/4140 [================>.............] - ETA: 0s - loss: nan - acc: 0.1325
2600/4140 [=================>............] - ETA: 0s - loss: nan - acc: 0.1223
2800/4140 [===================>..........] - ETA: 0s - loss: nan - acc: 0.1136
3000/4140 [====================>.........] - ETA: 0s - loss: nan - acc: 0.1060
3200/4140 [======================>.......] - ETA: 0s - loss: nan - acc: 0.0994
3400/4140 [=======================>......] - ETA: 0s - loss: nan - acc: 0.0935
3600/4140 [=========================>....] - ETA: 0s - loss: nan - acc: 0.0883
3800/4140 [==========================>...] - ETA: 0s - loss: nan - acc: 0.0837
4000/4140 [===========================>..] - ETA: 0s - loss: nan - acc: 0.0795
4140/4140 [==============================] - 2s 368us/step - loss: nan - acc: 0.0768 - val_loss: nan - val_acc: 0.0000e+00
Epoch 2/100

 200/4140 [>.............................] - ETA: 1s - loss: nan - acc: 0.0000e+00
 400/4140 [=>............................] - ETA: 0s - loss: nan - acc: 0.0000e+00
 600/4140 [===>..........................] - ETA: 0s - loss: nan - acc: 0.0000e+00
 800/4140 [====>.........................] - ETA: 0s - loss: nan - acc: 0.0000e+00
1000/4140 [======>.......................] - ETA: 0s - loss: nan - acc: 0.0000e+00
1200/4140 [=======>......................] - ETA: 0s - loss: nan - acc: 0.0000e+00
1400/4140 [=========>....................] - ETA: 0s - loss: nan - acc: 0.0000e+00
1600/4140 [==========>...................] - ETA: 0s - loss: nan - acc: 0.0000e+00


... and so on...

我希望能够完成完整的培训(废话)，但我也想了解人们必须自己解决这些问题的一些直觉!

Answer 1

首先，检查数据集中是否有 NaN 或 inf。

您可以尝试不同的优化器，例如均方根值。学习率可能会更小，尽管我自己没有使用过低于 0.0001(这就是你正在使用的)的值。

I thought that it was pretty standard to use relu but I saw on the internet somewhere someone talking about using tanh, tried it, no dice

如果您担心这个问题，请尝试leaky relu、elu。