python - 深度学习: Validation Loss Fluctuates Wildly Yet Training Loss is Stable

Question

我正在处理文本序列，序列长度在 1-3 之间。标签是一个“分数”。我有超过 500 万个样本。我的网络如下所示(Keras):

model.add(Embedding(word_count, 128, input_length=3))
model.add(BatchNormalization())

model.add(Dense(128, activation='relu'))
model.add(BatchNormalization())
model.add(Dense(256, activation='relu'))
model.add(BatchNormalization())
model.add(Dense(512, activation='relu'))
model.add(BatchNormalization())
model.add(Dense(1024, activation='relu'))

model.add(Flatten())
model.add(Dense(1, activation='linear'))

我尝试了许多不同的网络形状和配置，包括带/不带 Dropout 和 BatchNorm。但我的损失总是这样的:

我使用的批量大小为 1024 和 Adam 优化器。

据我所知，训练数据集和测试数据集在预处理等方面绝对没有差异。

关于如何诊断此问题有什么建议吗？

Answer 1

我发现了问题。当我只想打乱训练数据时，我正在打乱历元之间的测试数据。感谢您的评论。