tensorflow - 添加其他指标来计算性能

Question

我使用 TFF 版本 0.12.0为了计算模型的性能，我想添加(准确)灵敏度和特异性指标，

def specificity
...
def create_compiled_keras_model():
    ....

    model.compile(optimizer=tf.keras.optimizers.SGD(lr=0.001, momentum =0.9), 
             loss=tf.keras.losses.BinaryCrossentropy(),
              metrics=([tf.keras.metrics.BinaryAccuracy()], sensitivity, specificity))
    return model

我发现了这个错误:

TypeError: Type of `metrics` argument not understood. Expected a list or dictionary, found: ([<tensorflow.python.keras.metrics.BinaryAccuracy object at 0x7fb5b0711748>], <function sensitivity at 0x7fb6adf45e18>, <function specificity at 0x7fb5fdaf5f28>)

那么如何在 Tensorflow federated 中添加指标谢谢

Answer 1

TFF 要求使用 tf.keras.metrics.Metric 实现指标接口(interface)，并且不能包装任意 Python 函数。

可以在 https://github.com/tensorflow/federated/blob/3ed93c8036501fe327ede249a4b0f20d02c6f476/tensorflow_federated/python/learning/keras_utils_test.py#L33 中找到基于 tf.keras.metrics.Sum 子类制作自定义指标的示例。 .关键是 update_state 方法的实现。

对于敏感性和特异性指标，查看 tf.keras.metrics.SensitivityAtSpecificity 的实现它是基类 tf.keras.metrics.SensitivitySpecificityBase可能是有用的示例。