python - 变量的切片返回梯度无

Question

我一直在研究 tf.gradients()功能并遇到了我没想到的行为。即它似乎无法计算切片变量的梯度。我举了一个例子，希望能说明我的意思:

import tensorflow as tf

a = tf.Variable([1.0])
b = tf.Variable([1.0])
c = tf.concat(0, [a, b])
print(c)  # >Tensor("concat:0", shape=(2,), dtype=float32)

grad_full = tf.gradients(c,  c)
grad_slice1 = tf.gradients(c,  a)
grad_slice2 = tf.gradients(c,  c[:, ])  # --> Here the gradient is None
grad_slice3 = tf.gradients(c,  c[0, ])  # --> Here the gradient is None

print(grad_full)  # >[<tf.Tensor 'gradients/Fill:0' shape=(2,) dtype=float32>]
print(grad_slice1)  # >[<tf.Tensor 'gradients_1/concat_grad/Slice:0' shape=(1,) dtype=float32>]
print(grad_slice2)  # >[None]
print(grad_slice3)  # >[None]

sess = tf.Session()
sess.run(tf.initialize_all_variables())

grad_full_v, grad_slice_v = sess.run([grad_full[0], grad_slice1[0]])
print(grad_full_v)  # >[ 1.  1.]
print(grad_slice_v)  # >[ 1.]

我的问题是:

1) 我是否按预期方式使用 tf.gradients() 函数？

2) 如果是这样，这种行为是否有原因？在我看来，切片不一定会破坏反向传播。

3) 这是否意味着我需要避免在我的整个网络中进行切片(或者至少对于从变量到损失的每条路径)？例如，这意味着我不能将全连接层的结果分割成许多有意义的部分(比如用一个 fc 层估计多个标量，然后将联合估计分割成我想使用的部分)。

我正在使用 Python 3.5 在 Ubuntu 16 上从源代码构建 Tensorflow 0.11 RC0。

Answer 1

d = c[:, ] 创建一个与 a, b, c 不同的张量。如果考虑依赖图，d 依赖于 c。那么渐变在这种情况下不起作用。 grad(y, x) 在 x 依赖于 y 时有效，反之则不行。