tensorflow - 如何在 TensorFlow 中可视化 BPTT 梯度

Question

我想查看我的 Tensorflow LSTM 随时间变化的梯度，例如，绘制从 t=N 到 t=0 的梯度范数。问题是，如何从 Tensorflow 中获取每个时间步长的梯度？

Answer 1

在图中定义:

params = tf.trainable_variables()
opt = get_optimizer(optimizer)(self.learning_rate)
gradients = tf.gradients(self.losses, params)
self.gradient_norm = tf.global_norm(gradients)
self.updates = opt.apply_gradients(zip(gradients, params), global_step=self.global_step)

然后评估 self.gradient_norm 或将其提供给 SummariesWriter