gpt4 book ai didi

deep-learning - AssertionError : If capturable=False, state_steps 不应该是 CUDA 张量

转载 作者:行者123 更新时间:2023-12-05 04:26:15 26 4
gpt4 key购买 nike

我在 Google colab 上加载前一个时期的模型权重时遇到此错误。我正在使用 PyTorch 版本 1.12.0。我无法降级到较低版本,因为我使用的外部库需要 Pytorch 1.12.0

谢谢!

最佳答案

这似乎与 AdamAdamW 优化器新引入的参数(可捕获)有关。目前有两种解决方法:

  1. 在加载检查点后强制 capturable = True optim.param_groups[0]['capturable'] = True。这似乎使模型训练减慢了大约。 10%(YMMV 取决于设置)。
  2. 将 PyTorch 恢复到以前的版本(可能是 1.11.0)。

来源:https://github.com/pytorch/pytorch/issues/80809#issuecomment-1173481031

关于deep-learning - AssertionError : If capturable=False, state_steps 不应该是 CUDA 张量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/73095460/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com