python - 如何防止丢失 : nan while I'm fitting my keras model?

Question

这是我的代码:

model = Sequential()
model.add(Dense(50, input_dim=33, init='uniform', activation='relu'))
for u in range(3): #how to efficiently add more layers
    model.add(Dense(33, init='uniform', activation='relu'))
model.add(Dense(122, init='uniform', activation='sigmoid'))

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

#This line of code is an update to the question and may be responsible
model.fit(X_train, Y_train, nb_epoch=35, batch_size=20, validation_split=0.2, callbacks=[EarlyStopping(monitor='val_loss', patience=10)])

它正在运行 Epochs 并在准确性上变得更好，但随后损失开始为 nan，准确性下降。我使用了 model.predict 并从中得到了一个错误。

有人解决了吗？

Answer 1

如果您使用 categorical_crossentropy 作为损失函数，那么模型的最后一层应该是 softmax。

这里您使用的是 sigmoid，它有可能使输出的所有维度都接近 0，这将导致损失溢出，因此 nan。