python - 使用 CNN 进行图像反卷积

Question

我的输入张量为 shape (C,H,W) ，其中H=W和C=W^2 。该张量包含 shape (1,H,W) 图像的非线性变换信息挤压到(H,W) 。转换的确切形式并不重要(另外，无论如何也没有封闭形式的表达式)。我想设计一个CNN从这样的张量估计图像。我意识到我必须尝试 CNN architectures (因为我没有转换的确切形式)，但我不太确定如何继续。

输入张量既有正值又有负值，这对于图像重建很重要，因此 ReLU layer可能不应该在 CNN 开头附近实现。我也不认为池化层有用，至少在 H 中是这样。和W方面。显然，我必须折叠 C 维度才能获得图像，但我认为不应该一次性完成，e.g., torch.nn.Conv2d( C, 1, kernel_size )可能不是一个好主意。

在我看来，我应该首先使用 Conv2D layer它产生与输入张量相同大小的张量(以部分解扰非线性变换)，但如果内核大小大于 1 H和W尺寸将减小，这是我不希望的(除非稍后可以在 CNN 中解决这个问题)。另一方面，如果内核大小为 1，则形状将保持相同，但我认为在这种情况下张量不会发生任何变化。另外，我可能必须包含线性层，但我不确定如何将它们与 3D 一起使用。张量。

欢迎任何建议。

Answer 1

只要先应用加权线性层，在开头附近应用 ReLU 层就没有问题。如果网络得知它需要那里的值，它可以应用负权重来保留信息(粗略地说)。

事实上，在某些网络中要做的一件有用的事情就是对输入进行归一化以适应 N(0, 1) 正态分布。请参阅https://www.researchgate.net/post/Which_data_normalization_method_should_be_used_in_this_artificial_neural_network

关于由于内核大小而“减少”H/W 尺寸的问题 - 您可以在边界上使用 0 填充来避免此问题。根据我的经验，网络通常可以很好地处理这个问题。但是，如果性能是一个问题，通常您可能希望显着降低分辨率，然后在最后进行某种升级。您可以在这里找到此类网络的示例: Create image of Neural Network structure

对于池化/特征层:因为张量的深度非常大(W^2)，我建议您实际上立即减少很多。由于张量中每一层的权重，网络的复杂性在张量深度和像素数方面是二次。所以，我的基本策略是一开始就快速缩小信息空间，进行一些层计算，然后进行放大。

这些年来我学到的是，CNN 具有很强的弹性，而且纸面上看起来不错的架构思想在现实中效果甚微 - 最好的因素几乎总是更多的层(以良好的方式完成，但自从 ResNet 以来，它变得更加容易)和更多/更好的数据。因此，我会开始试验并尝试评估给定的工作 PoC 是什么阻止了网络或尝试各种变体。

我希望这有足够的意义:)祝你好运!