machine-learning - 机器学习: Is it better to retrain a model if the loss stagnates at a high value?

Question

意思是说，如果在训练期间你将学习率设置得太高，并且不幸地达到了值太高的局部最小值，那么用较低的学习率重新训练是否有好处，或者你应该从更高的学习开始表现不佳的模型的利率，希望损失能够逃脱局部最小值？

Answer 1

从严格意义上来说，您不必重新训练，因为您可以以较低的学习率继续训练(这称为学习时间表)。一种非常常见的方法是每次损失停滞或变得恒定时降低学习率(通常除以 10)。

另一种方法是使用优化器，根据梯度大小来缩放学习率，因此当您接近最小值时，学习率自然会衰减。例如 ADAM、Adagrad 和 RMSProp。

无论如何，请确保在验证集上找到最佳学习率，这将显着提高性能并使学习速度更快。这适用于普通 SGD 和任何其他优化器。