python - 验证损失增加

Question

我正在尝试用我的 numpy 神经网络解决 kaggle 中的猫狗问题。

验证损失

训练损失

我的训练损失减少得很好，但验证损失增加了，所以我的模型肯定是过度拟合了。我使用了两个大小为 125、50 的隐藏层。我使用 0.075 的学习率运行模型并进行了 600 次迭代。

我也尝试使用 lambda = 0.01 或 0.03 的正则化，但仍然没有帮助。

这个问题有什么解决办法吗？

Answer 1

将 Dropout 添加到每一层，dropout-probability 为 .5。看看它如何影响验证错误，如果你的训练错误不会比特定点更深，要么将概率降低到 0.3，要么依次从第一层移除它。这里有点试错。

我猜你指的是使用 lamda 的 L2 正则化(权重衰减)。如今，网络通常使用 dropout 和非常小的 L2，例如 0.0005。 L2 使权重接近于零并防止它们爆炸。 Dropout 是一个更好的调节器，因为它在训练期间随机丢弃节点，这会导致某种特化。

祝你好运。