machine-learning - 如何将 AUC 和平均 11 点精度/召回率结合起来？

Question

我正在评估推荐系统，我有 ROC 曲线和精确率-召回率曲线。当我更改某些参数时，ROC 和 PR 曲线的变化略有不同。有时 ROC 曲线看起来比 PR 曲线更好，反之亦然。因此我想要两条曲线。我可以将 ROC 曲线归结为 AUC，并且由于我有 11 点 PR 曲线，我可以取 11 点的平均值以获得单个数字。

我可以以某种方式将这些措施合并为一个数字吗？这是人们做的事情还是没有必要？

ROC 看起来比 PR 更好这一事实是否只是一个主观的事情，因为我不擅长解释曲线，或者一个可以比另一个更好是有效的吗？ (它们并不完全不同，但我认为仍然值得注意)

编辑:基本上我不想显示大量的图，我想要一个数字表。您会将这些数字合并到一张表中吗？或者为每个措施制作一个表格？

Answer 1

人们在常见系统中最常做的是使用 AUC(ROC 曲线下面积)或 F-Measure 作为汇总指标。但是你如何处理推荐系统，直到我知道他们喜欢看到精度和召回曲线(如 these )。因为随着 TOP-K 的增长，精度衰减和召回率增长对于这些系统来说是重要的结果。

但是，如果您仍然想获得有关精度重算与 ROC 曲线的更好答案，请阅读本文 paper