parameters - 在 Pytorch 中为自定义 NN 模块定义命名参数

Question

这个问题是关于如何在Pytorch中恰本地定义自定义层的参数。我想知道如何使参数最终成为命名参数？

class My_layer(torch.nn.Module):
    def __init__(self):
        self.mu = torch.nn.Parameter(torch.tensor([[0.0],[1.0]]))

所以当我如下打印参数时，p.name 不为空。

my_layer = My_Layer()
for p in my_layer.parameters():
     print(p.name, p.data, p.requires_grad)

Answer 1

您正在正确注册参数，但您应该使用 nn.Module.named_parameters而不是 nn.Module.parameters 来访问名称。当前您正在尝试访问 Parameter.name，这可能不是您想要的。 Parameter 和 Tensor 的 name 属性似乎没有记录，但据我所知，它们指的是_C._TensorBase 类，不能从外部修改。

每次您将 Parameter 分配给模块的属性时，它都会注册一个名称(这发生在 nn.Module.__setattr__ here 中)。参数始终采用与属性本身相同的名称，因此在本例中为 “mu”。要遍历所有参数及其关联名称，请使用 nn.Module.named_pa​​rameters。例如，

my_layer = My_Layer()
for n, p in my_layer.named_parameters():
    print('Parameter name:', n)
    print(p.data)
    print('requires_grad:', p.requires_grad)

打印

Parameter name: mu
tensor([[0.],
        [1.]])
requires_grad: True