python - 如何创建模块列表列表

Question

可以创建 PyTorch 模块列表的 python 列表吗？例如，如果我想在一个层中有一些 Conv1d，然后在另一层有不同的 Conv1d。在每一层中，我需要根据层数对输出进行不同的操作。构建模块列表的“python-list”的正确方法是什么？

这样:

    class test(nn.Module):
        def __init__(...):
            self.modulelists = []
            for i in range(4):
                self.modulelists.append(nn.ModuleList([nn.Conv1d(10, 10, kernel_size=5) for _ in range(5)]))

或者这样:

    class test(nn.Module):
        def __init__(...):
            self.modulelists = nn.ModuleList()
            for i in range(4):
                self.modulelists.append(nn.ModuleList([nn.Conv1d(10, 10, kernel_size=5) for _ in range(5)]))

谢谢

Answer 1

您需要正确注册网络的所有子模块，以便 pytorch 可以访问它们的参数、缓冲区等。
仅当您使用正确的 containers 时才能完成此操作.
如果你将子模块存储在一个简单的 pythonic 列表中，pytorch 将不知道那里有子模块，并且它们将被忽略。

因此，如果您使用简单的Pythonic列表来存储子模块，那么当您调用例如model.cuda()时，列表中子模块的参数将不会转移到 GPU，而是保留在 CPU 上。如果您调用 model.parameters() 将所有可训练参数传递给优化器，则所有子模块参数将不会被 pytorch 检测到，因此优化器将不会“看到”他们。