pytorch 权重weight 与 梯度grad 可视化操作

转载 作者：qq735679552 更新时间：2022-09-27 22:32:09 53 4

grads = {}def save_grad(name):    def hook(grad):        grads[name] = grad    return hookx = torch.randn(1, requires_grad=True)y = 3*xz = y * y# 为中间变量注册梯度保存接口，存储梯度时名字为 y。y.register_hook(save_grad("y"))# 反向传播 z.backward()# 查看 y 的梯度值print(grads["y"])

net = your_network().cuda()def train(): ... outputs = net(inputs)    loss = criterion(outputs, targets)    loss.backward() for name, parms in net.named_parameters():   print("-->name:", name, "-->grad_requirs:",parms.requires_grad,    " -->grad_value:",parms.grad)

[x.grad for x in self.optimizer.param_groups[0]["params"]]

import torchfrom torch.autograd import Variableimport torch.nn as nnfrom graphviz import Digraphdef make_dot(var, params=None):       if params is not None:        assert isinstance(params.values()[0], Variable)        param_map = {id(v): k for k, v in params.items()}     node_attr = dict(style="filled",                     shape="box",                     align="left",                     fontsize="12",                     ranksep="0.1",                     height="0.2")    dot = Digraph(node_attr=node_attr, graph_attr=dict(size="12,12"))    seen = set()     def size_to_str(size):        return "("+(", ").join(["%d" % v for v in size])+")"     def add_nodes(var):        if var not in seen:            if torch.is_tensor(var):                dot.node(str(id(var)), size_to_str(var.size()), fillcolor="orange")            elif hasattr(var, "variable"):                u = var.variable                name = param_map[id(u)] if params is not None else ""                node_name = "%s %s" % (name, size_to_str(u.size()))                dot.node(str(id(var)), node_name, fillcolor="lightblue")            else:                dot.node(str(id(var)), str(type(var).__name__))            seen.add(var)            if hasattr(var, "next_functions"):                for u in var.next_functions:                    if u[0] is not None:                        dot.edge(str(id(u[0])), str(id(var)))                        add_nodes(u[0])            if hasattr(var, "saved_tensors"):                for t in var.saved_tensors:                    dot.edge(str(id(t)), str(id(var)))                    add_nodes(t)    add_nodes(var.grad_fn)    return dot

if __name__ == "__main__":    model = DeepLab(backbone="resnet", output_stride=16)    input = torch.rand(1, 3, 53, 53)    output = model(input)    g = make_dot(output)    g.view()    params = list(net.parameters())    k = 0    for i in params:        l = 1        print("该层的结构：" + str(list(i.size())))        for j in i.size():            l *= j        print("该层参数和：" + str(l))        k = k + l    print("总参数数量和：" + str(k))

53 4 0

• pytorch - PyTorch 为什么叫 PyTorch？

  已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 这个问题似乎与 help center 中定义的范围内的编程无关。 . 已关闭 3 年前。 此帖子于去年编辑

• pytorch - 验证阶段完成后gpu内存仍然被占用，pytorch

  据我所知，在使用 GPU 训练和验证模型时，GPU 内存主要用于加载数据，向前和向后。据我所知，我认为 GPU 内存使用应该相同 1) 训练前，2) 训练后，3) 验证前，4) 验证后。但在我的例子中

• pytorch - PyTorch 中复数的矩阵乘法

  我正在尝试在 PyTorch 中将两个复数矩阵相乘，看起来 the torch.matmul functions is not added yet to PyTorch library for com

• pytorch - Pytorch 中软标签的交叉熵

  我正在尝试定义二分类问题的损失函数。但是，目标标签不是硬标签0，1，而是0~1之间的一个 float 。 Pytorch 中的 torch.nn.CrossEntropy 不支持软标签，所以我想自己写

• pytorch - PyTorch 数据集应该返回什么？

  我正在尝试让 PyTorch 与 DataLoader 一起工作，据说这是处理小批量的最简单方法，在某些情况下这是获得最佳性能所必需的。 DataLoader 需要一个数据集作为输入。 大多数关于 D

• pytorch - Pytorch DataLoader迭代顺序是否稳定？

  Pytorch Dataloader 的迭代顺序是否保证相同(在温和条件下)？ 例如: dataloader = DataLoader(my_dataset, batch_size=4,

• pytorch - Pytorch NLLLOSS的理解

  PyTorch 的负对数似然损失，nn.NLLLoss定义为: 因此，如果以单批处理的标准重量计算损失，则损失的公式始终为: -1 * (prediction of model for correct

• pytorch - PyTorch:new_ones与1

  在PyTorch中，new_ones()与ones()有什么区别。例如， x2.new_ones(3,2, dtype=torch.double) 与 torch.ones(3,2, dtype=to

• pytorch - PyTorch 中复杂掩码的最大池化

  假设我有一个矩阵 src带形状(5, 3)和一个 bool 矩阵 adj带形状(5, 5)如下， src = tensor([[ 0, 1, 2], [ 3, 4,

• pytorch - PyTorch 如何在张量的每一行中随机设置固定数量的元素

  我想知道如果不在第 4 行中使用“for”循环，下面的代码是否有更有效的替代方案？ import torch n, d = 37700, 7842 k = 4 sample = torch.cat([

• pytorch - PyTorch 中的自定义损失函数

  我有三个简单的问题。 如果我的自定义损失函数不可微会发生什么？ pytorch 会通过错误还是做其他事情？ 如果我在我的自定义函数中声明了一个损失变量来表示模型的最终损失，我应该放 requires_

• pytorch - PyTorch 中参数与张量的区别

  我想知道 PyTorch Parameter 和 Tensor 的区别？ 现有answer适用于使用变量的旧 PyTorch？ 最佳答案 这就是 Parameter 的全部想法。类(附加)在单个图像中

• pytorch - Pytorch 中是否有一种方法可以以可以反向传播的方式计算唯一值的数量？

  给定以下张量(这是网络的结果 [注意 grad_fn]): tensor([121., 241., 125., 1., 108., 238., 125., 121., 13., 117., 12

• pytorch - Pytorch 线性模块类定义中的常量

  什么是__constants__在 pytorch class Linear(Module):定义于 https://pytorch.org/docs/stable/_modules/torch/nn

• pytorch - pytorch conv2d的源代码在哪里？

  我在哪里可以找到pytorch函数conv2d的源代码？ 它应该在 torch.nn.functional 中，但我只找到了 _add_docstr 行， 如果我搜索conv2d。我在这里看了: ht

• pytorch - PyTorch 中的默认膨胀值

  如 documentation 中所述在 PyTorch 中，Conv2d 层使用默认膨胀为 1。这是否意味着如果我想创建一个简单的 conv2d 层，我必须编写 nn.conv2d(in_chann

• pytorch - PyTorch 如何实现反向卷积？

  我阅读了 Pytorch 的源代码，发现它没有实现 convolution_backward 很奇怪。函数，唯一的 convolution_backward_overrideable 函数是直接引发错

• pytorch - pytorch 中的一种热门编码

  我对编码真的很陌生，现在我正在尝试将我的标签变成一种热门编码。我已经完成将 np.array 传输到张量，如下所示 tensor([4., 4., 4., 4., 4., 4., 4., 4., 4.

• pytorch - PyTorch 中用于文本输入的卷积神经网络

  我正在尝试实现 text classification model使用CNN。据我所知，对于文本数据，我们应该使用一维卷积。我在 pytorch 中看到了一个使用 Conv2d 的示例，但我想知道如何

• pytorch - Pytorch 中类别不平衡的多标签分类

  我有一个多标签分类问题，我正试图用 Pytorch 中的 CNN 解决这个问题。我有 80,000 个训练示例和 7900 个类；每个示例可以同时属于多个类，每个示例的平均类数为 130。 问题是我的