gpt4 book ai didi

python - 如何在pytorch中进行渐变裁剪?

转载 作者:太空狗 更新时间:2023-10-29 21:20:31 25 4
gpt4 key购买 nike

在pytorch中执行梯度裁剪的正确方法是什么?

我有一个梯度爆炸问题。

最佳答案

来自 here 的更完整示例:

optimizer.zero_grad()        
loss, hidden = model(data, hidden, targets)
loss.backward()

torch.nn.utils.clip_grad_norm_(model.parameters(), args.clip)
optimizer.step()

关于python - 如何在pytorch中进行渐变裁剪?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54716377/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com