tensorflow - 为什么训练误差会在不改变学习率的情况下跳跃？

Question

我正在训练一个具有大约 10 个卷积层和一些池化层的卷积网络。训练集大约有 250,000 个样本(16,000 个长度向量)。在第一个 epoch 中，训练和测试误差从约 68% 跃升至 92%，约为 50%。学习率相同(批量梯度下降)。批量大小为 32。是什么导致了这种跳跃，如何解释这种跳跃？

Answer 1

在斯坦福大学的深度学习类(class)中找到这张幻灯片 https://youtu.be/wEoyxE0GP2M?t=1h18m2s

给出的解释是，这是参数初始化错误的症状。有一段时间几乎没有学习，然后突然参数在正确的方向上调整得足够多，并且您的准确性和/或损失显着增加。