python - Tensorflow 可以计算积分近似的梯度吗？

Question

我正在尝试使用 Hamiltonian Monte Carlo(HMC，来自 Tensorflow Probability)，但我的目标分布包含一个难以处理的一维积分，我用梯形规则近似。我对 HMC 的理解是它计算目标分布的梯度以构建更有效的过渡内核。我的问题是 Tensorflow 能否根据函数的参数计算出梯度，它们是否有意义？

例如，这是目标分布的对数概率，其中“A”是模型参数:

# integrate e^At * f[t] with respect to t between 0 and t, for all t

t = tf.linspace(0., 10., 100)
f = tf.ones(100)
delta = t[1]-t[0]
sum_term = tfm.multiply(tfm.exp(A*t), f)
integrals = 0.5*delta*tfm.cumsum(sum_term[:-1] + sum_term[1:], axis=0) 
pred = integrals
sq_diff = tfm.square(observed_data - pred)
sq_diff = tf.reduce_sum(sq_diff, axis=0)
log_lik = -0.5*tfm.log(2*PI*variance) - 0.5*sq_diff/variance
return log_lik

这个函数的梯度在 A 方面有意义吗？

Answer 1

是的，你可以使用 tensorflow 渐变胶带 计算出梯度。我假设你有一个数学函数输出 log_lik有很多输入，其中之一是 A
GradientTape 得到 A 的梯度

得到 log_lik 的梯度关于 A ，您可以使用 tf.GradientTape在 tensorflow 中

例如:

with tf.GradientTape(persistent=True) as g:
  g.watch(A)

  t = tf.linspace(0., 10., 100)
  f = tf.ones(100)
  delta = t[1]-t[0]
  sum_term = tfm.multiply(tfm.exp(A*t), f)
  integrals = 0.5*delta*tfm.cumsum(sum_term[:-1] + sum_term[1:], axis=0) 
  pred = integrals
  sq_diff = tfm.square(observed_data - pred)
  sq_diff = tf.reduce_sum(sq_diff, axis=0)
  log_lik = -0.5*tfm.log(2*PI*variance) - 0.5*sq_diff/variance
  z = log_lik

## then, you can get the gradients of log_lik with respect to A like this
dz_dA = g.gradient(z, A)

dz_dA包含 A 中变量的所有偏导数

我只是通过上面的代码向您展示了这个想法。为了使其工作，您需要通过张量操作进行计算。因此更改以修改您的函数以使用张量类型进行计算

另一个例子，但在张量操作中

x = tf.constant(3.0)
with tf.GradientTape() as g:
  g.watch(x)
  with tf.GradientTape() as gg:
    gg.watch(x)
    y = x * x
  dy_dx = gg.gradient(y, x)     # Will compute to 6.0
d2y_dx2 = g.gradient(dy_dx, x)  # Will compute to 2.0

这里可以从文档中查看更多示例以了解更多 https://www.tensorflow.org/api_docs/python/tf/GradientTape

关于“意义”的进一步讨论

我先把python代码翻译成数学(我用的是 https://www.codecogs.com/latex/eqneditor.php，希望能正常显示):

# integrate e^At * f[t] with respect to t between 0 and t, for all t

从上面，这意味着你有一个功能。我叫它 g(t, A)


那么你在做一个 确定 不可缺少的。我叫它 G(t,A)


从您的代码中， t不再是变量，它被设置为 10。因此，我们简化为只有一个变量 h(A) 的函数



到此为止，函数 h内有定积分。但既然你在逼近它，我们不应该认为它是一个真正的积分 (dt -> 0)，它只是另一个简单的数学链。这里没有什么神秘之处。



然后，最后输出 log_lik ，这只是一些简单的数学运算，其中包含一个新的输入变量 observed_data ，我叫它 y .

然后是一个函数 z计算 log_lik是:


z与 tensorflow 中的其他普通数学运算链没有什么不同。因此， dz_dA在 z 的梯度的意义上是有意义的w.r.t A给你梯度更新 A您可以最小化 z