python - 覆盖 tf.floor 渐变

Question

我尝试在输出层中使用 tf.floor，但即使我尝试使用恒等梯度覆盖它，仍然会收到“无梯度”错误。

import tensorflow as tf
from tensorflow import keras

def transfer(x):
    with tf.compat.v1.get_default_graph() as g:
        with g.gradient_override_map({'Floor': 'Identity'})
            return tf.floor(x * 90) / 90

input = keras.layers.Input((10, ))
output = keras.layers.Lambda(transfer)(keras.layers.Dense(1, activation='sigmoid')(input))

以下是完整的错误消息:

/tensorflow-2.1.0/python3.6/tensorflow_core/python/keras/optimizer_v2/optimizer_v2.py in _filter_grads(grads_and_vars)
   1037   if not filtered:
   1038     raise ValueError("No gradients provided for any variable: %s." %
-> 1039                      ([v.name for _, v in grads_and_vars],))
   1040   if vars_with_empty_grads:
   1041     logging.warning(

ValueError: No gradients provided for any variable:

Answer 1

您正在使用 TF 2 吗？我非常怀疑这个图表的东西能做什么，因为 TF 2.0 不再真正做图表了。覆盖渐变的标准方法是通过 tf.custom_gradient 。你可以像这样使用它:

@tf.custom_gradient
def custom_floor(x):
    def grad_fn(dy):
        return dy

    return tf.floor(x), grad_fn

然后，在模型中使用 custom_floor 函数而不是 tf.floor。这将在正向传递中返回 tf.floor(第一个返回元素)，但使用 grad_fn(第二个返回元素)来计算梯度 - 在本例中是只会原封不动地通过它。您当然也可以将 @custom_gradient 直接应用于您的 transfer 函数。