machine-learning - Keras cifar10 示例验证和测试损失低于训练损失

Question

我正在使用 Keras 的 cifar10 示例，您可以找到 here 。我已经重新创建了模型(即，不是相同的文件，但其他所有内容几乎相同)，您可以找到它 here .

模型是相同的，我在 50,000 个图像训练集上使用 0.2 验证分割训练模型 30 个时期。我无法理解我得到的结果。我的验证和测试损失小于训练损失(相反，训练准确度低于验证和测试准确度):

                      Loss       Accuracy
   Training          1.345          0.572
 Validation          1.184          0.596
       Test           1.19          0.596

看看这个图，我不确定为什么训练误差再次开始如此严重地增加。我是否需要减少训练的 epoch 数量或者实现提前停止？不同的模型架构会有帮助吗？如果是这样，有什么好的建议吗？

谢谢。

Answer 1

这是一种罕见的现象，但时有发生。出现这种情况的原因有多种:

• 较小的数据集具有较小的内在方差，因此这意味着您的模型可以正确捕获数据内部的模式，并且训练误差会更大，这仅仅是因为的内部方差训练集大于验证集。
• 简单的意外 - 这也可能发生 - 你的 split 适合这种行为。