python - conv2d_transpose 在进行预测时依赖于 batch_size

Question

我有一个目前在 tensorflow 中实现的神经网络，但我在训练后进行预测时遇到问题，因为我有一个 conv2d_transpose 操作，并且这些操作的形状取决于批量大小。我有一个层需要 output_shape 作为参数:

def deconvLayer(input, filter_shape, output_shape, strides):
    W1_1 = weight_variable(filter_shape)

    output = tf.nn.conv2d_transpose(input, W1_1, output_shape, strides, padding="SAME")

    return output

这实际上用在我构建的更大模型中，如下所示:

 conv3 = layers.convLayer(conv2['layer_output'], [3, 3, 64, 128], use_pool=False)

 conv4 = layers.deconvLayer(conv3['layer_output'],
                                    filter_shape=[2, 2, 64, 128],
                                    output_shape=[batch_size, 32, 40, 64],
                                    strides=[1, 2, 2, 1])

问题是，如果我要使用经过训练的模型进行预测，我的测试数据必须具有相同的批量大小，否则会出现以下错误。

tensorflow.python.framework.errors.InvalidArgumentError: Conv2DBackpropInput: input and out_backprop must have the same batch size

有什么方法可以预测批量大小可变的输入吗？当我查看经过训练的权重时，似乎没有任何东西取决于批量大小，所以我不明白为什么这会成为问题。

Answer 1

所以我在 https://github.com/tensorflow/tensorflow/issues/833 找到了基于 tensorflow 问题论坛的解决方案.

在我的代码中

 conv4 = layers.deconvLayer(conv3['layer_output'],
                                    filter_shape=[2, 2, 64, 128],
                                    output_shape=[batch_size, 32, 40, 64],
                                    strides=[1, 2, 2, 1])

我传递给 deconvLayer 的输出形状在训练时使用预定的批处理形状进行了硬编码。通过将其更改为以下内容:

def deconvLayer(input, filter_shape, output_shape, strides):
    W1_1 = weight_variable(filter_shape)

    dyn_input_shape = tf.shape(input)
    batch_size = dyn_input_shape[0]

    output_shape = tf.pack([batch_size, output_shape[1], output_shape[2], output_shape[3]])

    output = tf.nn.conv2d_transpose(input, W1_1, output_shape, strides, padding="SAME")

    return output

这允许在运行时动态推断形状，并且可以处理可变的批量大小。

运行代码，在传入任何批量大小的测试数据时，我不再收到此错误。我认为这是必要的，因为转置运算的形状推断目前并不像普通卷积运算那样简单。因此，在正常卷积运算中我们通常将 None 用于 batch_size 的地方，我们必须提供一个形状，并且由于这可能会根据输入而变化，因此我们必须努力动态确定它。