解决torch.autograd.backward中的参数问题-6ren

解决torch.autograd.backward中的参数问题

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

24

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章解决torch.autograd.backward中的参数问题由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

torch.autograd.backward(variables, grad_variables=None, retain_graph=None, create_graph=False) 。

给定图的叶子节点variables, 计算图中变量的梯度和。计算图可以通过链式法则求导。如果variables中的任何一个variable是非标量(non-scalar)的，且requires_grad=True。那么此函数需要指定grad_variables，它的长度应该和variables的长度匹配，里面保存了相关variable的梯度(对于不需要gradient tensor的variable，None是可取的).

此函数累积leaf variables计算的梯度。你可能需要在调用此函数之前将leaf variable的梯度置零.

参数:

variables（变量的序列） - 被求微分的叶子节点，即 ys .

grad_variables（（张量，变量）的序列或无） - 对应variable的梯度。仅当variable不是标量且需要求梯度的时候使用.

retain_graph（bool，可选） - 如果为False，则用于释放计算grad的图。请注意，在几乎所有情况下，没有必要将此选项设置为True，通常可以以更有效的方式解决。默认值为create_graph的值.

create_graph（bool，可选） - 如果为True，则将构造派生图，允许计算更高阶的派生产品。默认为False.

我这里举一个官方的例子。

 
    ? 
   
 
     
       
       
         import 
         torch 
        
 
         from 
         torch.autograd  
         import 
         Variable 
        
 
         x  
         = 
         Variable(torch.ones( 
         2 
         ,  
         2 
         ), requires_grad 
         = 
         True 
         ) 
        
 
         y  
         = 
         x  
         + 
         2 
        
 
         z  
         = 
         y  
         * 
         y  
         * 
         3 
        
 
         out  
         = 
         z.mean() 
        
 
         out.backward() 
         #这里是默认情况，相当于out.backward(torch.Tensor([1.0])) 
        
 
         print 
         (x.grad) 
        
 
     
 
   

输出结果是。

 
    ? 
   
         Variable containing: 
        
         4.5000 
         4.5000 
        
         4.5000 
         4.5000 
        
         [torch.FloatTensor of size  
         2x2 
         ]

解决torch.autograd.backward中的参数问题

接着我们继续。

 
    ? 
   
         x  
         = 
         torch.randn( 
         3 
         ) 
        
         x  
         = 
         Variable(x, requires_grad 
         = 
         True 
         ) 
        
         y  
         = 
         x  
         * 
         2 
        
         while 
         y.data.norm() <  
         1000 
         : 
        
         y  
         = 
         y  
         * 
         2 
        
         gradients  
         = 
         torch.FloatTensor([ 
         0.1 
         ,  
         1.0 
         ,  
         0.0001 
         ]) 
        
         y.backward(gradients) 
        
         print 
         (x.grad)

输出结果是。

 
    ? 
   
         Variable containing: 
        
         204.8000 
        
         2048.0000 
        
         0.2048 
        
         [torch.FloatTensor of size  
         3 
         ]

这里这个gradients为什么要是[0.1, 1.0, 0.0001]?

如果输出的多个loss权重不同的话，例如有三个loss，一个是x loss，一个是y loss，一个是class loss。那么很明显的不可能所有loss对结果影响程度都一样，他们之间应该有一个比例。那么比例这里指的就是[0.1, 1.0, 0.0001]，这个问题中的loss对应的就是上面说的y，那么这里的输出就很好理解了dy/dx=0.1*dy1/dx+1.0*dy2/dx+0.0001*dy3/dx.

如有问题，希望大家指正，谢谢_.

以上这篇解决torch.autograd.backward中的参数问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我.

原文链接：https://blog.csdn.net/qq_17550379/article/details/78939046 。

最后此篇关于解决torch.autograd.backward中的参数问题的文章就讲到这里了,如果你想了解更多关于解决torch.autograd.backward中的参数问题的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

24

4

0

文章推荐： PyTorch中的Variable变量详解

文章推荐： Pytorch 中retain_graph的用法详解

文章推荐： linux系统怎么使用alias创建命令别名?

文章推荐： Linux虚拟机怎么拍摄快照并管理?

问题
关闭。这个问题是off-topic .它目前不接受答案。想要改进这个问题？ Update the question所以它是on-topic用于堆栈溢出。关闭 12 年前。 Improve thi
问题
我有一个动态网格，其中的数据功能需要正常工作，这样我才能逐步复制网格中的数据。假设在第 5 行中，我输入 10，则从第 6 行开始的后续行应从 11 开始读取，依此类推。如果我转到空白的第一行并输入
问题
我有一个关于我的按钮消失的问题我已经把一个图像作为我的按钮用这个函数动画 function example_animate(px) { $('#cont
php - 将现有帐户链接到 Facebook - 问题/问题
我有一个具有 Facebook 连接和经典用户名/密码登录的网站。目前，如果用户单击 facebook_connect 按钮，系统即可运行。但是，我想将现有帐户链接到 facebook，因为用户可以选
iOS map View 问题/问题
我有一个正在为 iOS 开发的应用程序，该应用程序执行以下操作加载和设置注释并启动核心定位和缩放到位置。 map 上有很多注释，从数据加载不会花很长时间，但将它们实际渲染到 map 上需要一段时间。
ruby-on-rails - Heroku，问题/问题
我被推荐使用 Heroku for Ruby on Rails 托管，到目前为止，我认为我真的会喜欢它。只是想知道是否有人可以帮助我找出问题所在。我按照那里的说明在该网站上创建应用程序，创建并提交
Android WebView setCertificate 问题 SSL 问题
我看过很多关于 SSL 错误的帖子和信息，我自己也偶然发现了一个。我正在尝试使用 GlobalSign CA BE 证书通过 Android WebView 访问网页，但出现了不可信错误。对于大多
c++ - Glew 问题， Unresolved external 问题
我想开始使用 OpenGL 3+ 和 4，但我在使用 Glew 时遇到了问题。我试图将 glew32.lib 包含在附加依赖项中，并且我已将库和 .dll 移动到主文件夹中，因此不应该有任何路径问题。
问题？
我已经盯着这两个下载页面的源代码看了一段时间，但我似乎找不到问题。我有两个下载页面，一个 javascript 可以工作，一个没有。工作:http://justupload.it/v/lfd7不是
jquery - 初级 jQuery 问题(FF/IE 问题)
我一直在使用 jQuery，只是尝试在单击链接时替换文本字段以及隐藏/显示内容项。它似乎在 IE 中工作得很好，但我似乎无法让它在 FF 中工作。我的 jQuery: $(function() {
Android ndk 问题 socket 和 std 问题
我正在尝试为 NDK 编译套接字库，但出现以下两个错误: error: 'close' was not declared in this scope 和 error: 'min' is not a m
java - Selenium 问题 : Select. deselectAll() 导致 iframe 问题
我正在使用 Selenium 浏览器自动化框架测试网站。在测试过程中，我切换到特定的框架，我们将其称为“frame_1”。后来，我在 Select 类中使用了 deselectAll() 方法。不久之
连接到 Heroku PostgreSQL 的 Python 问题 - SSL 问题
我正在尝试通过 Python 创建到 Heroku PostgreSQL 数据库的连接。我将 Windows10 与 Python 3.6.8 和 PostgreSQL 9.6 一起使用。我从“ht
python - 在 Pandas 中创建新列的 np.where() 问题(可能是 NaN 问题？)
我有一个包含 2 列的数据框，我想根据两列之间的比较创建第三列。所以逻辑是:第 1 列 val = 3，第 2 列 val = 4，因此新列值什么都没有第 1 列 val = 3，第 2 列 va
css - 如何调试 iphone 5 中的 css 问题(ui 问题)？
我想知道如何调试 iphone 5 中的 css 问题。我尝试使用 firelite 插件。但是从纵向旋转到横向时，火石占据了整个屏幕。有没有其他方法可以调试 iphone 5 中的 css 问题
CSS 问题，input[id]+label，:hover, 和 :checked 问题
所以我有点难以理解为什么这不起作用。我正在尝试替换我正在处理的示例站点上的类别复选框。我试图让它做以下事情:未选中时以一种方式出现，悬停时以另一种方式出现(选中或未选中)选中时以第三种方式出现(而不是
javascript - 1 javascript/css 问题 2 perl cgi 问题
Javascript CSS 问题: 我正在使用一个文本框来写入一个 div。我使用以下 javascript 获取文本框来执行此操作: function process_input(){
algorithm - NP 中的语言(问题)和 P 中的语言(问题)之间的多项式时间减少
你好，我很难理解 P、NP 和多项式时间缩减的主题。我试过在网上搜索它并问过我的一些 friend ，但我没有得到任何好的答案。我想问一个关于这个话题的一般性问题: 设 A,B 为 P 中的语言(或
python-3.x - 该算法(解决 leetcode 问题 650)(问题 2)的时间复杂度是多少？
你好，我一直在研究 https://leetcode.com/problems/2-keys-keyboard/并想到了这个动态规划问题。您从空白页上的“A”开始，完成后得到一个数字 n，页面上应该
ios - Xcode Server Bot 问题 : warning. 生成服务错误。问题:路径 'some/path' 的存档格式不正确
我正在使用 Cocoapods 和 KIF 在 Xcode 服务器上运行持续集成。我已经成功地为一个项目设置了它来报告每次提交。我现在正在使用第二个项目并收到错误: Bot Issue: warnin

首页

博学

6Ren·AI

商城

解决torch.autograd.backward中的参数问题