tensorflow - 如何获取 TensorFlow 变量的损失梯度？

Question

我想要的功能是能够在给定一些数据的情况下判断给定变量相对于我的误差函数的梯度。

实现此目的的一种方法是查看调用训练后变量发生了多少变化，但显然，根据学习算法，变量可能会发生很大变化(例如，用 RProp 之类的东西几乎不可能判断)而且不是很干净。

提前致谢。

Answer 1

tf.gradients()函数允许您计算一个张量相对于一个或多个其他张量(包括变量)的符号梯度。考虑以下简单示例:

data = tf.placeholder(tf.float32)
var = tf.Variable(...)              # Must be a tf.float32 or tf.float64 variable.
loss = some_function_of(var, data)  # some_function_of() returns a `Tensor`.

var_grad = tf.gradients(loss, [var])[0]

然后您可以使用此符号梯度来评估某个特定点(数据)的梯度:

sess = tf.Session()

var_grad_val = sess.run(var_grad, feed_dict={data: ...})