python - TensorFlow:以随机角度旋转图像和点时的偏移

Question

我有一个图像和 3 个点。我想一起旋转图像和点。为此，我将图像旋转了某个角度 a 并将点旋转了相同的角度。当 a 固定为 python 标量(比如 pi/3)时，旋转效果很好(参见下图，蓝点位于黑色方 block 上)。

当使用 angle = tf.random_uniform([]) 随机选择角度时，旋转图像和旋转点之间存在偏移。

下面是重现此行为的完整代码。

我的问题是:如何解释并纠正这种行为？

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

# create toy image
square = np.zeros((1, 800, 800, 3))
square[:, 100:400, 100:400] = 1
square[:, 140:180, 140:180] = 0
square[:, 240:280, 240:280] = 0
square[:, 280:320, 280:320] = 0
kp = np.array([[160, 160], [260, 260], [300, 300]])
kp = np.expand_dims(kp, axis=0)

def _rotate(image, keypoints, angle, keypoints_num):
    image = tf.contrib.image.rotate(image, angle)
    cos, sin = tf.cos(angle), tf.sin(angle)
    x0, y0  = .5, .5
    rot_mat = tf.Variable([[cos, -sin], [sin, cos]], trainable=False)
    keypoints -= (x0, y0)
    keypoints = tf.reshape(keypoints, shape=[-1, 2])
    keypoints = tf.matmul(keypoints, rot_mat)
    keypoints = tf.reshape(keypoints, shape=[-1, keypoints_num, 2])
    keypoints += (x0, y0)
    return image, keypoints


image = tf.placeholder(tf.float32, [None, 800, 800, 3])
keypoints = tf.placeholder(tf.float32, [None, 3, 2])

angle = np.pi / 3 # fix angle, works fine
#angle = tf.random_uniform([]) # random angle, does not work
image_r, keypoints_r = _rotate(image, keypoints / 800, angle, 3)
keypoints_r *= 800

sess = tf.Session()
sess.run(tf.initialize_all_variables())

imr, kr = sess.run([image_r, keypoints_r], feed_dict={image: square, keypoints:kp})

# displaying output
plt.imshow(imr[0])
plt.scatter(*zip(*kr[0]))
plt.savefig('rotation.jpg')

Answer 1

问题出在这里:

rot_mat = tf.Variable([[cos, -sin], [sin, cos]], trainable=False)

因为rot_mat是一个变量，它的值只有在变量初始化的时候才会被设置，这里:

sess.run(tf.initialize_all_variables())

所以在那个时候 rot_mat 得到一些值(使用 cos 和 sin，这又取决于 angle，这是随机的)并且它不再改变。然后当你这样做时:

imr, kr = sess.run([image_r, keypoints_r], feed_dict={image: squares, keypoints:kps})

这是对 run 的不同调用，因此 tf.random_uniform 产生了一个新值，但是 rot_mat 仍然保持相同的值它被初始化了。由于图像旋转:

image = tf.contrib.image.rotate(image, angle)

关键点旋转:

keypoints = tf.matmul(keypoints, rot_mat)

旋转不匹配。最简单的解决方法是不为 rot_mat 使用变量:

rot_mat = [[cos, -sin], [sin, cos]]

这样，代码就可以正常工作了。如果你真的需要rot_mat作为一个变量，也是可以的，但是工作量有点大，这里好像不需要。如果您不喜欢 rot_mat 是一个列表并希望有一个适当的张量，您可以使用 tf.convert_to_tensor:

rot_mat = tf.convert_to_tensor([[cos, -sin], [sin, cos]])