machine-learning - 在单程中将两个图像作为输入，将两个图像作为输出？

Question

我正在构建一个 UNET 模型。我陷入了一件事，如果我们必须将两个图像作为输入传递给 UNET，我们可以通过连接它们来完成它，就像下面的代码

inputs = []
for _ in range(num_inputs):
    inputs.append(Input((self.input_height, self.input_width, self.input_features)))
x = concatenate(inputs)
x = Conv2D(32, (3, 3), activation='relu', padding='same')(x)

但是我们如何才能在一次通过中获得两个图像作为输出？

Answer 1

一种方法是将您的输出层设置为 2 channel 层(每个图像一个 channel )。这种方法需要考虑的一个方面是标签格式。您的标签也必须有 2 个 channel ，因此 Unet 可以将输出 channel 与标签(在本例中为 2 个图像)进行比较，并正确地反向传播错误。然后，您可以解耦 2 个 channel 并分别处理图像。
额外 :如果您的图像有多个 channel (例如 RGB)，那么如果您也正确设置了标签格式，您仍然可以连接它并生成反向传播错误。在这种情况下:串联(3 个 channel 的 1 个图像，3 个 channel 的 1 个图像)= 6 个 channel 。