python - 在 Pytorch 中，复制模型的学习参数作为同一架构的第二个模型的初始化的最有效方法是什么？

Question

我有一个 CNN 模型，其架构如下:

class Model(nn.Module): 

    def __init__(self):
        super().__init__()

        self.conv1 = nn.Conv2d(4, 32, (8, 8), 4) 
        self.conv2 = nn.Conv2d(32, 64, (4, 4), 2)
        self.conv3 = nn.Conv2d(64, 64, (3, 3), 1)
        self.dense = nn.Linear(4*4*64, 512)
        self.out = nn.Linear(512, 18)

我正在使用某种优化器来训练它。然后，我想使用从第一个模型学到的这些参数作为完全相同架构的第二个模型的初始化方案(而不是使用 Xavier)。我知道我需要使用 model_object.apply(initalization_function)，但是相对于我描述的初始化方案，最有效的方法是什么？我使用来自另一个模型的学习参数作为初始化新模型？

Answer 1

如果你想在model2中加载model1参数，我相信这会起作用:

model2.load_state_dict(model1.state_dict()))

查看official PyTorch transfer learning tutorial中类似的示例