PyTorch:保存优化器状态的目的是什么？

Question

PyTorch 能够保存和加载优化器的状态。示例显示 in the PyTorch tutorial .我目前只是保存和加载模型状态，而不是优化器。那么除了不必记住诸如学习率之类的优化器参数之外，保存和加载优化器状态还有什么意义。优化器状态包含什么？

Answer 1

您应该保存优化器状态如果您想稍后恢复模型训练。特别是如果 Adam 是您的优化器。 Adam 是一种自适应学习率方法，这意味着它会针对各种参数计算个体学习率。

如果您只想使用保存的模型进行推理，则不需要。

但是，最好同时保存模型状态和优化器状态。如果您想稍后绘制它们，您还可以保存损失历史记录和其他运行指标。

我愿意，

    torch.save({
            'epoch': epochs,
            'model_state_dict': model.state_dict(),
            'optimizer_state_dict': optimizer.state_dict(),
            'train_loss_history': loss_history,
            }, PATH)