python - 这个TF训练曲线是过拟合还是欠拟合？

Question

在过度拟合的情况下，据我所知，val_loss 必须飙升，而不是 train_loss。但是下面的情况如何(val_loss 仍然很低)？这个模型严重欠拟合吗？还是完全不同的情况？以前我的模型会严重过拟合，所以我添加了 0.3 的 dropout(4 个 CuDNNGRU 层有 64 个神经元和一个 Dense 层，batchsize 为 64)，那么我应该减少 dropout 吗？

Answer 1

这既不是过拟合也不是欠拟合。有些人将其称为 Unknown fit 。验证 << 当您在 keras 中应用正则化(L1、L2、Dropout 等)时会发生训练损失，因为它们仅应用于训练而不应用于测试(验证)。因此，您的训练损失更大是有道理的(例如，由于丢失，并非所有神经元都可用于前馈)。

但很明显，您的模型没有针对您的验证集进行优化(几乎是一条直线)。这可能是由于很多原因造成的:

• 您的验证集不能很好地代表您的数据集，预测非常容易或非常小。
• 降低学习率或添加更多正则化(recurrent_regularization，因为您使用的是 CuDNNGRU)
• 您的损失函数不适合您要解决的问题。

希望这些提示对您有所帮助。