python - 改变 pytorch 中的优化器势头

Question

我知道您可以使用调度程序在 pytorch 中动态更改学习率。如何利用动量做同样的事情？

Answer 1

来自documentation用于 PyTorch 中的乘法 LR。基本上，您将调度程序围绕优化器进行包装，就像将优化器围绕模型参数进行包装一样。

lmbda = lambda epoch: 0.95
scheduler = MultiplicativeLR(optimizer, lr_lambda=lmbda)
for epoch in range(100):
    train(...)
    validate(...)
    scheduler.step()