python - CNN 自动编码器可以有不同的输入和输出维度吗？

Question

我正在解决一个问题，需要我构建一个深度学习模型，该模型必须基于某些输入图像输出另一个图像。值得注意的是，这两个图像在概念上是相关的，但它们没有相同的尺寸。

起初我认为具有最终密集层(其参数是输出图像的高度和宽度的乘积)的经典 CNN 适合这种情况，但在训练时它给出了奇怪的数字，例如准确度为 0。

在互联网上寻找答案时，我发现了 CNN 自动编码器的概念，我想知道这种方法是否可以帮助我解决我的问题。在我看到的所有示例中，自动编码器的输入和输出具有相同的大小和维度。

此时我想问是否有一种 CNN 自动编码器可以生成与输入图像相比具有不同尺寸的输出图像。

Answer 1

自动编码器(AE)是一种架构，它试图通过学习同时从这种表示形式重建数据来将图像编码为低维表示形式。因此，AE 依赖于无监督(不需要标签)数据，该数据既用作输入又用作目标(在损失中使用)。

您可以尝试针对您的用例使用基于 U-net 的架构。 U-net 将中间数据表示转发到网络的后续层，这将有助于更快地将输入学习/映射到新域中。

您还可以尝试一个包含一些 ResNet block 而没有任何下采样层的简单架构，这对于您的用例来说可能足够也可能不够。

如果您想更深入地挖掘，您可以研究 Disco-GAN 和相关方法。它们明确地尝试将图像映射到新域，同时维护图像信息。