caffe - 在 Caffe 中计算 ROC 和 AUC？

Question

我在 Caffe 中训练过 imagenet。现在我正在尝试为我的模型和 caffe 提供的训练模型计算 ROC/AUC。我有两个问题:

1) ROC/AUC 主要用于二进制类，但我也发现在某些情况下人们将其用于多类。 1000个类(class)有可能吗？它的影响是什么？正如在评论中一样，人们在多类问题中没有对 ROC/AUC 给出很好的答案。

2) 如果可能，比较两个基于 ROC/AUC 的模型将是一个好主意，谁能告诉我如何在 Caffe 中对这 1000 个类进行比较？我是否必须从头开始重新训练模型，还是只能使用最终训练的模型进行计算？

问候

Answer 1

This discussion很好地解决了多类 ROC/AUC 分析。回答您的问题:

1. 您可以为每个类别进行多个一对多分类，从而构建多条 ROC 曲线。

2. 计算出 1000 个 AUC 值后，您可以得出所有类别的平均 AUC，并使用此指标来比较模型的优劣。不，您不需要重新训练您的模型。

此外，请注意 ROC/AUC 指标非常具体，主要用于语音识别等检测/生物测量任务。