optimization - 神经网络的高变异性损失

Question

每个时期之间的准确度和损失都存在非常高的变异性，高达 10%。它总是会影响我的准确性，而当我开始添加 dropout 时，我的损失就会发生。但是我真的需要辍学，关于如何平滑它有什么想法吗？

Answer 1

如果不知道自己在做什么，就很难说出具体的事情。但因为你提到你的数据集非常小:500 个样本，所以我说你 10% 的性能跳跃并不奇怪。还有一些想法:

• 如果可以的话，一定要使用更大的数据集。如果无法收集更大的数据集，请尝试扩充您拥有的数据。
• 尝试较小的 dropout，看看效果如何，尝试不同的正则化器(dropout 不是唯一的选择)
• 您的数据很小，您可以运行 200 次以上的迭代
• 查看您的模型在测试集上的表现，它可能只是严重过度拟合数据