python - PyTorch:学习率调度器

Question

如何将学习率调度程序与以下优化器结合使用？

optimizer = torch.optim.Adam(optim_params,betas=(args.momentum, args.beta), weight_decay=args.weight_decay)

我编写了以下调度程序:

scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=100, gamma=0.9)

我不确定是否应该步进调度程序或优化程序。我应该采取什么顺序来执行以下操作？

optimizer.zero_grad()
scheduler.step()
optimizer.step()

Answer 1

自 1.3 起，行为已更改，请参阅 releases和 this issue especially .

在此版本之前，您应该在优化器之前step调度程序，这在我看来是不合理的。有一些来回(实际上它破坏了向后兼容性，并且在我看来，为了这么小的不便而破坏它并不是一个好主意)，但目前您应该在 optimizer 之后执行 scheduler >.

optimizer.zero_grad()
optimizer.step()
scheduler.step()