machine-learning - 通过更多 SpatialDropouts 获得更低的 MSE 是否可行？

Question

我观察到

SpatialDropout2D(0.2)

在 5 个 Convolutional2D 层中的每一个层之后，前几个时期的训练和验证误差比没有这些 Dropout 层的相同网络要低得多(其他条件相同)。这似乎违反直觉，因为我预计如果随机丢弃中间结果，优化例程会更难以找到最小值。

那么我的观察是否合理？如果是这样，为什么？

Answer 1

一般来说，dropout 是用于对抗过度拟合的技术之一。预计会减少测试误差，但不会减少训练误差。相反，当模型停止过度拟合时，训练误差可能会上升。

我建议阅读 Deep Learning textbook 中有关 dropout 的更多信息。 ，第 7.12 节。