python - 准确率提高但损失也增加

Question

我正在使用这个模型。使用这个模型时，验证准确性不断提高，但同时验证损失也不断增加。这里发生了什么？

from keras.layers import Dense
from keras.models import Sequential
from keras.optimizers import adam

model_alpha1 = Sequential()
model_alpha1.add(Dense(64, input_dim=96, activation='relu'))
model_alpha1.add(Dense(2, activation='softmax'))

opt_alpha1 = adam(lr=0.001)
model_alpha1.compile(loss='sparse_categorical_crossentropy', optimizer=opt_alpha1, metrics= 
['accuracy'])

history = model_alpha1.fit(x_train, y_train, validation_data=(x_test, y_test), epochs=200, verbose=1)

如果需要更多详细信息，我将提供详细评论。谢谢

Answer 1

您的模型似乎过度拟合。换句话说，您的模型对于训练数据来说过于拟合，这就是为什么它对于验证数据的性能不再那么好。

防止过度拟合的典型方法是使用正则化技术。例如:

• 滤失层 https://keras.io/api/layers/regularization_layers/dropout/
• 早停https://keras.io/api/callbacks/early_stopping/
• 噪音 https://keras.io/api/layers/regularization_layers/gaussian_noise/

尝试针对您的问题训练深度较低的神经网络或尝试 dropout 层(或两者都显然取决于它们将如何影响)。从你的图中，我们可以看到过度拟合在大约 25 个时期后开始。

过拟合可能是由于例如数据集使用的模型过于复杂、数据集不够大等原因造成的。或者你训练模型的时间太长了! (这里提前停止可以解决问题)

这里有一些 TF 正则化示例:https://tensorflow.rstudio.com/tutorials/beginners/basic-ml/tutorial_overfit_underfit/