python - 在 Pytorch 中创建一个具有固定权重的线性模型

Question

我想在 PyTorch 下创建一个单层的线性网络，但我希望权重手动初始化并保持固定。

例如模型的权重值:

layer = nn.Linear(4, 1, bias=False)
weights = tensor([[ 0.6],
                  [0.25],
                  [ 0.1],
                  [0.05]], dtype=torch.float64)

这可以实现吗？如果是这样，我该怎么做？或者有替代的线性函数吗？

Answer 1

您可以通过设置 requires_grad 来卡住图层。为 False:

layer.requires_grad_(False)

这样就不会计算层参数的梯度。

或者在初始化参数的时候直接定义so:

layer = nn.Linear(4, 1, bias=False)
layer.weight = nn.Parameter(weights, requires_grad=False)

或者，给定输入 x 形状的 (n, 4)，您可以使用简单的矩阵乘法计算结果:

>>> x@weights 
# equivalent to torch.matmul(x, weights)