deep-learning - AssertionError : If capturable=False, state_steps 不应该是 CUDA 张量

Question

我在 Google colab 上加载前一个时期的模型权重时遇到此错误。我正在使用 PyTorch 版本 1.12.0。我无法降级到较低版本，因为我使用的外部库需要 Pytorch 1.12.0

谢谢!

Answer 1

这似乎与 Adam 和 AdamW 优化器新引入的参数(可捕获)有关。目前有两种解决方法:

1. 在加载检查点后强制 capturable = True optim.param_groups[0]['capturable'] = True。这似乎使模型训练减慢了大约。 10%(YMMV 取决于设置)。
2. 将 PyTorch 恢复到以前的版本(可能是 1.11.0)。

来源:https://github.com/pytorch/pytorch/issues/80809#issuecomment-1173481031