python - Tensorflow:使用clip_by_norm或clip_by_global_norm时如何确定clip_norm的值？

Question

我试图找出使用 clip_by_norm 时如何确定 clip_norm 的值或clip_by_global_norm与张量板。

在Tensorflow中，我们可以使用优化器compute_gradients来获取梯度并将其添加到tf.summary.histogram中。在 Tensorboard 中，我们可以在 DISTRIBUTIONS 选项卡中观察梯度的范围。然后我们就可以确定使用clip_by_value时的clip_value范围。 .

另一方面，我该如何计算/显示 Tensorboard 中的范数或全局范数，以便确定 clip_norm 的值？

Answer 1

要在 Tensorboard 中查看范数或全局范数，您可以手动计算它。

对于范数(非全局)，您可以像平常一样使用compute_gradients获取梯度，并使用tf.norm计算梯度l2范数。 。这给你一个标量值。您可以使用 tf.summary.scalar 将其添加到 Tensorboard .

对于全局规范，您可以使用 tf.global_norm 来计算它然后将其添加到 Tensorboard(也是标量摘要)。

编辑:

请注意 tf.norm期望单个张量。因此，您需要计算范数并将其添加到每个梯度张量的 Tensorboard 中。与使用 tf.summary.histogram 查看值时的操作相同。