gpt4 book ai didi

python - torch.no_grad() 影响模型精度

转载 作者:行者123 更新时间:2023-12-05 01:34:59 26 4
gpt4 key购买 nike

我收到“CUDA 内存不足”错误,然后我将 torch.no_grad() 函数添加到我的代码中。这会影响我的准确性吗?

for iters in range(args.iterations):

with torch.no_grad():
encoded, encoder_h_1, encoder_h_2, encoder_h_3 = encoder(
res, encoder_h_1, encoder_h_2, encoder_h_3)

with torch.no_grad():
code = binarizer(encoded)

with torch.no_grad():
output, decoder_h_1, decoder_h_2, decoder_h_3, decoder_h_4 = decoder(
code, decoder_h_1, decoder_h_2, decoder_h_3, decoder_h_4)

res = res - output.detach()
codes.append(code.data.cpu().numpy())
torch.cuda.empty_cache()
print('Iter: {:02d}; Loss: {:.06f}'.format(iters, res.data.abs().mean()))

最佳答案

torch.no_grad() 只是禁用对以后计算梯度所需的任何计算的跟踪。

它不会对纯推理模式的准确性产生任何影响,因为那里不需要梯度。当然你不能在训练期间使用它,因为我们需要梯度来训练和优化。

一般来说,如果您要进行推理,您总是希望将网络设置为评估模式并禁用梯度。这可以节省运行时间和内存消耗,并且不会影响准确性。

类似问题的回答,解释eval()no_grad() https://discuss.pytorch.org/t/model-eval-vs-with-torch-no-grad/19615/2

关于python - torch.no_grad() 影响模型精度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63351268/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com