machine-learning - 结合神经网络 Pytorch

Question

我有2张图像作为输入，x1和x2，并尝试使用卷积作为相似性度量 。这个想法是，学习的权重取代了更传统的相似性度量(互相关、神经网络……)。定义我的转发函数如下:

def forward(self,x1,x2):
    out_conv1a = self.conv1(x1)
    out_conv2a = self.conv2(out_conv1a)
    out_conv3a = self.conv3(out_conv2a)

    out_conv1b = self.conv1(x2)
    out_conv2b = self.conv2(out_conv1b)
    out_conv3b = self.conv3(out_conv2b)

现在进行相似性度量:

out_cat = torch.cat([out_conv3a, out_conv3b],dim=1)
futher_conv = nn.Conv2d(out_cat)

我的问题如下:

1) 深度/可分离卷积如 google paper 所示与连接输入的二维卷积相比有任何优势。就此而言，卷积可以作为相似性度量，互相关和卷积非常相似。

2) 据我了解， conv2d 中的 groups=2 选项将提供 2 个单独的输入来训练权重，在本例中为每个先前网络的权重。这些之后如何组合？

有关基本概念，请参阅 here .

Answer 1

使用nn.Conv2d层，您假设权重是可训练的参数。但是，如果您想用另一个特征图过滤一个特征图，您可以更深入地研究并使用 torch.nn.functional.conv2d自己显式定义输入和过滤器:

out = torch.nn.functional.conv2d(out_conv3a, out_conv3b)