python - 如何在 tensorflow 中沿宽度和高度维度交错 4D 张量？

Question

或者:在tensorflow中分散多 channel 图像的不同相位...

我的问题如下:
我有“图像”，所有尺寸都相同，在某种意义上对应于目标图像的不同阶段。我想用 tf 功能重建那个成熟的图像。
事实证明这比我最初预期的要简单得多，我将非常感谢任何帮助!

更详细的说明如下:
在 numpy 中，可以通过简单的赋值轻松交错图像 -

import numpy as np

im = np.random.random((1, 8, 8, 2))

phased_im_01 = im[:, ::2, 1::2, :]
phased_im_00 = im[:, ::2, ::2, :]
phased_im_10 = im[:, 1::2, ::2, :]
phased_im_11 = im[:, 1::2, 1::2, :]

rebuild_im = np.zeros((1, 8, 8, 2))
rebuild_im[:, ::2, ::2, :] = phased_im_00
rebuild_im[:, ::2, 1::2, :] = phased_im_01
rebuild_im[:, 1::2, ::2, :] = phased_im_10
rebuild_im[:, 1::2, 1::2, :] = phased_im_11

print(np.all(rebuild_im == im))

但众所周知，赋值在 tf 中是不行的，通常使用 tf.concat 和 tf.reshape 之类的东西(对于非常简单的情况)或 tf.scatter_nd(对于更复杂的情况)。我没有成功使用我尝试过的许多事情中的任何一个来实现上述 numpy 功能的等价物(比如首先将张量置换为具有宽度维度，尝试 scatter_nd，然后置换回来，这是我之前成功使用过的一种方法其他问题)，或者关于 SO 的任何解决方案(比如堆叠和 reshape 自己致死)。

需要说明的是，我的实际用例在每个图像维度中有一个未知的批量大小、数千个 channel 和 4 个阶段。但是对于上面的简单玩具示例，我只需要一个可行的解决方案；泛化在我身上 ;-)
感谢那里的任何帮助者，(抱歉，我只能描述我的努力而不能展示它们。它们只是一堆不成功的错误，退化为可怕的反复试验代码片段，直到放弃并来到这里寻求帮助，所以没有重大损失)。

可以根据需要添加说明。

Answer 1

要在 TensorFlow 中重现 numpy 示例，请尝试 depth_to_space:

import tensorflow as tf

im = tf.random_normal((1, 8, 8, 2))

phased_im_01 = im[:, ::2, 1::2, :]
phased_im_00 = im[:, ::2, ::2, :]
phased_im_10 = im[:, 1::2, ::2, :]
phased_im_11 = im[:, 1::2, 1::2, :]

phases = tf.concat(
    (phased_im_00, phased_im_01, phased_im_10, phased_im_11), axis=3)
rebuild_im = tf.nn.depth_to_space(phases, block_size=2, data_format='NHWC')

dif = tf.reduce_sum(rebuild_im - im)  # 0.0

由 ShlomiF 友情建议，更一般的例子是:

import numpy as np
import tensorflow as tf
tf.enable_eager_execution()

num_of_channels = 20
h = w = 256
num_of_phases = 4
im = np.random.random((1, h, w, num_of_channels))

phase_ims = []
for i in range(num_of_phases):
    for j in range(num_of_phases):
        phase_ims.append(im[:, i::num_of_phases, j::num_of_phases, :])

all_phases = tf.concat(phase_ims, axis=3)
rebuild_im = tf.depth_to_space(all_phases, block_size=num_of_phases, data_format='NHWC')

diff = tf.reduce_sum(rebuild_im - im)
print(np.asarray(diff))  # --> 0.0

据我所知，depth_to_space 或周期性改组的想法来自 this paper .您可能会在那里找到更多详细信息和可视化。