tensorflow - Tensorflow 中的平衡准确度分数

Question

我正在为高度不平衡的分类问题实现 CNN，并且我想在 tensorflow 中实现 custum 指标以使用“选择最佳模型”回调。具体来说，我想实现平衡的准确度分数，即每个类别的召回率的平均值(请参阅sklearn实现 here )，有人知道该怎么做吗？

Answer 1

我遇到了同样的问题，因此我实现了一个基于 SparseCategoricalAccuracy 的自定义类:

class BalancedSparseCategoricalAccuracy(keras.metrics.SparseCategoricalAccuracy):
    def __init__(self, name='balanced_sparse_categorical_accuracy', dtype=None):
        super().__init__(name, dtype=dtype)

    def update_state(self, y_true, y_pred, sample_weight=None):
        y_flat = y_true
        if y_true.shape.ndims == y_pred.shape.ndims:
            y_flat = tf.squeeze(y_flat, axis=[-1])
        y_true_int = tf.cast(y_flat, tf.int32)

        cls_counts = tf.math.bincount(y_true_int)
        cls_counts = tf.math.reciprocal_no_nan(tf.cast(cls_counts, self.dtype))
        weight = tf.gather(cls_counts, y_true_int)
        return super().update_state(y_true, y_pred, sample_weight=weight)

这个想法是将每个类的权重设置为其大小成反比。

此代码会产生一些来自 Autograph 的警告，但我相信这些是 Autograph 错误，并且该指标似乎工作正常。