pytorch Variable与Tensor合并后 requires_grad()默认与修改方式-6ren

pytorch Variable与Tensor合并后 requires_grad()默认与修改方式

转载作者：qq735679552 更新时间：2022-09-27 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章pytorch Variable与Tensor合并后 requires_grad()默认与修改方式由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

pytorch更新完后合并了Variable与Tensor 。

torch.Tensor()能像Variable一样进行反向传播的更新，返回值为Tensor 。

Variable自动创建tensor，且返回值为Tensor，（所以以后不需要再用Variable）。

Tensor创建后,默认requires_grad=Flase 。

可以通过xxx.requires_grad_()将默认的Flase修改为True 。

下面附代码及官方文档代码：

 
    ? 
   
         import 
         torch 
        
         from 
         torch.autograd  
         import 
         Variable  
         #使用Variabl必须调用库 
        
         lis 
         = 
         torch. 
         range 
         ( 
         1 
         , 
         6 
         ).reshape(( 
         - 
         1 
         , 
         3 
         )) 
         #创建1~6 形状  
        
         #行不指定（-1意为由计算机自己计算）列为3的floattensor矩阵 
        
         print 
         (lis) 
        
         print 
         (lis.requires_grad)  
         #查看默认的requires_grad是否是Flase 
        
         lis.requires_grad_()  
         #使用.requires_grad_()修改默认requires_grad为true 
        
         print 
         (lis.requires_grad)

结果如下:

tensor([[1., 2., 3.], [4., 5., 6.]]) False True 。

创建一个Variable，Variable必须接收Tensor数据不能直接写为 a=Variable(range(6)).reshape((-1,3)) 。

否则报错 Variable data has to be a tensor, but got range 。

正确如下：

 
    ? 
   
         import 
         torch 
        
         from 
         torch.autograd  
         import 
         Variable 
        
         tensor 
         = 
         torch.FloatTensor( 
         range 
         ( 
         8 
         )).reshape(( 
         - 
         1 
         , 
         4 
         )) 
        
         my_ten 
         = 
         Variable(tensor) 
        
         print 
         (my_ten) 
        
         print 
         (my_ten.requires_grad) 
        
         my_ten.requires_grad_() 
        
         print 
         (my_ten.requires_grad)

结果:

tensor([[0., 1., 2., 3.], [4., 5., 6., 7.]]) False True 。

由上面可以看出，Tensor完全可以取代Variable.

下面给出官方文档：

 
    ? 
   
         # 默认创建requires_grad = False的Tensor   
        
         x  
         = 
         torch . ones (  
         1 
         )  
         # create a tensor with requires_grad=False (default) 
        
         x . requires_grad 
        
         # out: False 
        
         # 创建另一个Tensor，同样requires_grad = False 
        
         y  
         = 
         torch . ones (  
         1 
         )  
         # another tensor with requires_grad=False 
        
         # both inputs have requires_grad=False. so does the output 
        
         z  
         = 
         x  
         + 
         y 
        
         # 因为两个Tensor x,y，requires_grad=False.都无法实现自动微分， 
        
         # 所以操作（operation）z=x+y后的z也是无法自动微分，requires_grad=False 
        
         z . requires_grad 
        
         # out: False 
        
         # then autograd won't track this computation. let's verify! 
        
         # 因而无法autograd，程序报错 
        
         z . backward ( )  
        
         # out：程序报错：RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn 
        
         # now create a tensor with requires_grad=True 
        
         w  
         = 
         torch . ones (  
         1 
         , requires_grad  
         = 
         True 
         )  
        
         w . requires_grad 
        
         # out: True 
        
         # add to the previous result that has require_grad=False 
        
         # 因为total的操作中输入Tensor w的requires_grad=True，因而操作可以进行反向传播和自动求导。 
        
         total  
         = 
         w  
         + 
         z 
        
         # the total sum now requires grad! 
        
         total . requires_grad 
        
         # out: True 
        
         # autograd can compute the gradients as well 
        
         total . backward ( )  
        
         w . grad 
        
         #out: tensor([ 1.]) 
        
         # and no computation is wasted to compute gradients for x, y and z, which don't require grad 
        
         # 由于z，x，y的requires_grad=False,所以并没有计算三者的梯度 
        
         z . grad  
         = 
         = 
         x . grad  
         = 
         = 
         y . grad  
         = 
         = 
         None 
        
         # True 
        
         existing_tensor . requires_grad_ ( )  
        
         existing_tensor . requires_grad 
        
         # out：True

或者直接用Tensor创建时给定requires_grad=True 。

 
    ? 
   
         my_tensor  
         = 
         torch.zeros( 
         3 
         , 
         4 
         ,requires_grad  
         = 
         True 
         )  
        
         my_tensor.requires_grad 
        
         # out: True

 
    ? 
   
         lis 
         = 
         torch. 
         range 
         ( 
         1 
         , 
         6 
         ,requires_grad 
         = 
         True 
         ).reshape(( 
         - 
         1 
         , 
         3 
         )) 
        
         print 
         (lis) 
        
         print 
         (lis.requires_grad) 
        
         lis.requires_grad_() 
        
         print 
         (lis.requires_grad)

结果。

tensor([[1., 2., 3.], [4., 5., 6.]], requires_grad=True) True True 。

补充：volatile 和 requires_grad在pytorch中的意思。

Backward过程中排除子图

pytorch的BP过程是由一个函数决定的，loss.backward()，可以看到backward()函数里并没有传要求谁的梯度。那么我们可以大胆猜测，在BP的过程中，pytorch是将所有影响loss的Variable都求了一次梯度.

但是有时候，我们并不想求所有Variable的梯度。那就要考虑如何在Backward过程中排除子图（ie.排除没必要的梯度计算）.

如何BP过程中排除子图？ Variable的两个参数（requires_grad和volatile）。

requires_grad=True 要求梯度。

requires_grad=False 不要求梯度。

volatile=True相当于requires_grad=False。反之则反之。。。。。。。ok 。

注意：如果a是requires_grad=True，b是requires_grad=False。则c=a+b是requires_grad=True。同样的道理应用于volatile 。

为什么要排除子图

也许有人会问，梯度全部计算，不更新的话不就得了.

这样就涉及了效率的问题了，计算很多没用的梯度是浪费了很多资源的（时间，计算机内存）。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我。如有错误或未考虑完全的地方，望不吝赐教.

原文链接：https://blog.csdn.net/weixin_43635550/article/details/100192797 。

最后此篇关于pytorch Variable与Tensor合并后 requires_grad()默认与修改方式的文章就讲到这里了,如果你想了解更多关于pytorch Variable与Tensor合并后 requires_grad()默认与修改方式的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： Spring动态配置计时器触发时间的实例代码

文章推荐： IE下支持文本框和密码框placeholder效果的JQuery插件分享

文章推荐： Spring Boot应用发布到Docker的实现

文章推荐：有效提高JavaScript执行效率的几点知识

torch - requires_grad 与叶节点的关系
来自 docs : requires_grad – Boolean indicating whether the Variable has been created by a subgraph con
python - pytorch如何设置.requires_grad False
我想卡住我的一些模型。按照官方文档: with torch.no_grad(): linear = nn.Linear(1, 1) linear.eval() print(li
pytorch Variable与Tensor合并后 requires_grad()默认与修改方式
pytorch更新完后合并了Variable与Tensor torch.Tensor()能像Variable一样进行反向传播的更新，返回值为Tensor Variable自动创建tensor，且
即使所有变量的 requires_grad = False，PyTorch 损失也会减少
当我使用 PyTorch 创建神经网络时，使用 torch.nn.Sequential 方法定义层，参数似乎默认为 requires_grad = False。但是，当我训练这个网络时，损失会减少。如
即使所有变量的 requires_grad = False，PyTorch 损失也会减少
当我使用 PyTorch 创建神经网络时，使用 torch.nn.Sequential 方法定义层，参数似乎默认为 requires_grad = False。但是，当我训练这个网络时，损失会减少。如
python - 带有 requires_grad 参数的 torch.Tensor()
我不能使用带有 requires_grad 参数的 torch.Tensor()(torch 版本:0.4.1) 没有 requires_grad : x = torch.Tensor([[.5, .
pytorch - 属性错误: 'builtin_function_or_method' object has no attribute 'requires_grad'
我在训练 MNIST 数据时收到此错误，csv 文件来自 Kaggle。有人可以告诉我哪里错了吗？这是我的代码。 PyTorch的版本是0.4.0。 import numpy as np import
python - PyTorch torch.no_grad() 与 requires_grad=False
我正在关注 PyTorch tutorial它使用 Huggingface Transformers 库中的 BERT NLP 模型(特征提取器)。有两段我不明白的梯度更新相关代码。 (1) torc
python - 为什么 torch.gt 函数将 requires_grad 变成 False？
张量b 和c 的requires_grad 为True。但是张量 d 的 requires_grad 是 False。我很好奇为什么会发生这种变化，因为输入的所有 requires_grad 都是 T
python - 我如何使用 PyTorch 0.4.0 从 numpy 数组制作一个带有 requires_grad=True 的 FloatTensor？
Pytorch 0.4.0 引入了 Tensor 和 Variable 类的合并。在此版本之前，当我想从一个 numpy 数组创建一个带有 autograd 的 Variable 时，我会执行以下操

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城