machine-learning - 对单个样本的训练数据过度拟合我的模型

Question

我试图使我的模型过度拟合仅包含单个样本的训练数据。训练准确度为 1.00。但是，当我预测由相同的单个训练输入样本组成的测试数据的输出时，结果不准确。该模型已训练 100 个 epoch，损失约为 1e-4。可能的错误来源是什么？

Answer 1

正如您帖子评论中所提到的，如果您不先提供更多详细信息，则无法提供具体建议。

一般来说，过度拟合一小批(在您的情况下是一张图像)的方法本质上是提供三项健全性检查，即:

1. 反向传播正在运行
2. 体重更新正在发挥作用
3. 学习率处于正确的数量级

正如 Andrej Karpathy 在斯坦福大学 CS231n 类(class)第 5 讲中所指出的 - "if you can't overfit on a tiny batch size, things are definitely broken" .

根据您的描述，这意味着您的实现不正确。我首先要检查上面列出的三点。例如，通过选择几个不同的图像或 5 个图像(而不是一个)的 btach-size 以某种方式改变你的测试。您还可以修改您的预测函数，因为这肯定存在一些差异，因为您在训练期间得到零错误(因此验证？)。