tensorflow - 如何在 TensorFlow 中创建多个自定义 AUC 指标，每个输出一个？

Question

在 TensorFlow 2.0 中，有类 tf.keras.metrics.AUC .它可以很容易地添加到 compile 的指标列表中。方法如下。

# Example taken from the documentation
model.compile('sgd', loss='mse', metrics=[tf.keras.metrics.AUC()])

但是，就我而言，我的神经网络的输出是 NxM张量，其中 N是批量大小和 M是独立输出的数量。我想计算每个 M 的 AUC 指标单独输出(跨批次的所有 N 个实例)。所以，应该有 M AUC 指标，每个指标都使用 N 计算观察。我尝试创建自定义指标，但遇到了一些问题。以下是我的第一次尝试。

def get_custom_auc(output):
    auc = tf.metrics.AUC()

    @tf.function
    def custom_auc(y_true, y_pred):
        y_true = y_true[:, output]
        y_pred = y_pred[:, output]
        auc.update_state(y_true, y_pred)
        return auc.result()

    custom_auc.__name__ = "custom_auc_" + str(output)
    return custom_auc

需要重命名 custom_auc.__name__在以下帖子中进行了描述: Is it possible to have a metric that returns an array (or tensor) rather than a number? .但是，此实现会引发错误。

tensorflow.python.framework.errors_impl.InvalidArgumentError: assertion failed: [predictions must be >= 0] [Condition x >= y did not hold element-wise:] [x (strided_slice_1:0) = ] [3.14020467 3.06779885 2.86414027...] [y (Cast_1/x:0) = ] [0] [[{{node metrics/custom_auc_2/StatefulPartitionedCall/assert_greater_equal/Assert/AssertGuard/else/_161/Assert}}]] [Op:__inference_keras_scratch_graph_5149]

我也尝试创建 AUC custom_auc 内的对象，但这是不可能的，因为我正在使用 @tf.function ，所以我会得到错误 ValueError: tf.function-decorated function tried to create variables on non-first call. .即使我删除了 @tf.function (我可能需要，因为我可能会在实现中使用一些 if-else 语句)，我收到另一个错误

tensorflow.python.framework.errors_impl.FailedPreconditionError: Error while reading resource variable _AnonymousVar33 from Container: localhost. This could mean that the variable was uninitialized. Not found: Resource localhost/_AnonymousVar33/N10tensorflow3VarE does not exist. [[node metrics/custom_auc_0/add/ReadVariableOp (defined at /train.py:173) ]] [Op:__inference_keras_scratch_graph_5174]

请注意，目前，我正在添加这些 AUC 指标，每个 M 一个。输出，如 this answer 中所述.此外，我不能简单地返回对象 auc ，因为显然 Keras 期望自定义指标的输出是张量而不是 AUC 对象。所以，如果你这样做，你会得到以下错误。

TypeError: To be compatible with tf.contrib.eager.defun, Python functions must return zero or more Tensors; in compilation of .custom_auc at 0x1862e6680>, found return value of type , which is not a Tensor.

我还尝试实现自定义指标类，如下所示。

class CustomAUC(tf.metrics.Metric):

    def __init__(self, num_outputs, name="custom_auc", **kwargs):
        super(CustomAUC, self).__init__(name=name, **kwargs)
        assert num_outputs >= 1
        self.num_outputs = num_outputs
        self.aucs = [tf.metrics.AUC() for _ in range(self.num_outputs)]

    def update_state(self, y_true, y_pred, sample_weight=None):
        for output in range(self.num_outputs):
            y_true1 = y_true[:, output]
            y_pred1 = y_pred[:, output]
            self.aucs[output].update_state(y_true1, y_pred1)

    def result(self):
        return [auc.result() for auc in self.aucs]

但是，我目前收到错误

ValueError: Shapes (200,) and () are incompatible

此错误似乎与 reset_states 有关，所以也许我也应该覆盖这个方法。事实上，如果我覆盖 reset_states具有以下实现

def reset_states(self):
    for auc in self.aucs:
        auc.reset_states()

我不再收到此错误，但我收到另一个错误

tensorflow.python.framework.errors_impl.InvalidArgumentError: assertion failed: [predictions must be >= 0] [Condition x >= y did not hold element-wise:] [x (strided_slice_1:0) = ] [-1.38822043 1.24234951 -0.254447281...] [y (Cast_1/x:0) = ] [0] [[{{node metrics/custom_auc/PartitionedFunctionCall/assert_greater_equal/Assert/AssertGuard/else/_98/Assert}}]] [Op:__inference_keras_scratch_graph_5248]

那么，我如何实现这个自定义 AUC 指标，每个 M 一个网络的输出？基本上，我想做一些类似于 this answer 中描述的解决方案的事情。 ，但使用 AUC 指标。

我也开通了 related issue在 TensorFlow 的 Github 问题跟踪器上。

Answer 1

我有和你一样的问题。我有一个带有 3 个输出的模型，我想为 3 个输出(每个输出具有不同数量的类)计算一个自定义指标 (ConfusionMatricMetric)。我在这里使用了一个解决方案 https://keras.io/guides/customizing_what_happens_in_fit/ - 降低水平。我现在的问题是我无法训练模型，因为

ValueError: tf.function-decorated function tried to create variables on non-first call.

然后我用

tf.config.run_functions_eagerly(True)

现在模型训练，很慢但可以保存
附言我也用过 tf.keras.metrics.KLDivergence()而不是我的自定义指标，并以与上述相同的结果复制了相同的实验 - 训练并保存( tf.saved_model.save)