machine-learning - 聚合精度和召回率的实际重要性是什么？

Question

我正在研究用于推荐系统的 movielens 100K 电影数据。我将数据分为测试和训练，并计算精确度和召回率。在测试中，随机选择了超过 10K 个用户。我能够找到单个用户的精确度和召回率。

我想知道:聚合精度和召回率有任何实际重要性吗？

Answer 1

您将看到学术论文中报告的精确率/召回率结果的汇总，而不是 10,000 个不同的 P/R 结果。在这方面，它让读者对 RS 性能有一个非常普遍的认识。通常，您会看到精度/召回率表示为曲线(如下所示: http://www.cs.washington.edu/ai/mln/images/image001.png )。您往往会发现，当召回率 = 1 时，准确率较低，而当精度 = 1 时，召回率较低。您可以在 Excel 或 Google Sheets 中根据 10,000 个结果轻松创建其中一条曲线。

正如评论中提到的，F 度量是一种结合 P/R 生成平均值的方法，尽管在“吹嘘”F 度量之前您需要了解 F 度量的局限性。根据您的应用领域，为精度或召回率证明某种权重的合理性并不少见，因此请注意基本的 F 度量是平衡的(精度和召回率都被视为同等重要)。

接收者运算符(operator)特征 ( https://en.wikipedia.org/wiki/Receiver_operating_characteristic ) 也常用于推荐系统评估中的 P/R 曲线和 f 测量。如果您正在寻求额外的积分，那么我建议您使用多种方法来评估 RS 性能，例如 P/R 曲线、F 测量、AUC 和 ROC。