python - CNN 中的 Tensorflow 可变动态大小

Question

我的 CNN 的输出层应该使用 RBF 函数，描述为“每个神经元输出其输入向量与其权重向量之间的欧几里德距离的平方”。我已将其实现为

dense2 = tf.square(tf.norm(dense1 - tf.transpose(dense2_W)))

其中 dense1 是形状 (?, 84) 的张量。我尝试将权重 dense2_W 声明为形状 (84, 10) 的变量，因为它正在进行数字分类并且应该有 10 个输出。批量运行 100 个代码时，我收到此错误:InvalidArgumentError:不兼容的形状:[100,84] 与 [10,84]。我相信这是由于减法造成的。

我通过迭代此代码来训练网络:

x_batch, y_batch = mnist.train.next_batch(100)
x_batch = tf.pad(x_batch, [[0,0],[2,2],[2,2],[0,0]]).eval()  # Pad 28x28 -> 32x32
sess.run(train_step, {X: x_batch, Y: y_batch})

然后使用整个测试集进行测试，因此网络中的批量大小必须是动态的。

我该如何解决这个问题？批量大小必须是动态的，如 dense1 的情况一样，但我不明白如何创建具有动态大小的变量并对其进行转置 (dense2_W)。

Answer 1

您需要两个张量的形状匹配。假设您希望在批处理中共享权重，并且还为每个输出类拥有单独的权重集，您可以 reshape 两个张量以便正确广播，例如:

# broadcasting will copy the input to every output class neuron
input_dense = tf.expand_dims(dense1, axis=2)

# broadcasting here will copy the weights across the batch
weights = tf.expand_dims(tf.transpose(dense2_W), axis=0)

dense2 = tf.square(tf.norm(input_dense - weights, axis=1))

生成的张量 dense2 的形状应为 [batch_size, num_classes]，在您的情况下为 [100, 10] (所以它将保存超过输出类数量的每个数据实例的 logits)

编辑:在 tf.norm 调用中添加了 axis 参数，以便在隐藏维度中计算距离(而不是在整个矩阵上)。