neural-network - 我们应该为 adam 优化器做学习率衰减吗

Question

我正在使用 Adam 优化器训练图像定位网络，有人建议我使用指数衰减。我不想尝试这个，因为 Adam 优化器本身会降低学习率。但那家伙坚持说他以前就这么做过。那么我应该这样做吗？你的建议背后有什么理论依据吗？

Answer 1

这要看情况。 ADAM 使用单独的学习率更新任何参数。这意味着网络中的每个参数都有一个特定的相关学习率。

但是每个参数的单个学习率是使用 lambda(初始学习率)作为上限计算的。这意味着每个学习率可以从 0(无更新)到 lambda(最大更新)变化。

确实，学习率会在训练步骤中自行调整，但如果您想确保每个更新步骤不超过 lambda，您可以使用指数衰减或其他方式降低 lambda。当之前关联的 lambda 参数的计算损失停止减少时，它可以帮助减少最后一步训练期间的损失。