machine-learning - 神经网络，是否值得随时间改变学习率和动量

Question

满足某些条件后是否值得改变学习率？以及如何以及为何这样做？例如，网络将以高学习率开始，在平方误差足够低之后，学习率将下降以获得更好的精度，或者学习率应该增加以跳出局部最小值？不会造成过拟合吗？那么动量呢？

Answer 1

通常你应该从高学习率和低动量开始。然后，随着时间的推移，你会降低学习率并增加动力。这个想法是在学习开始时允许更多探索，并在学习结束时强制收敛。通常你应该查看训练错误来设置你的学习计划:如果它被卡住了，即错误没有改变，那么是时候降低你的学习率了。