performance - 推荐系统 - Recall@K 和 Precision@K

Question

我正在为我的公司构建一个推荐系统，并对计算 precision@K 和 recall@K 的公式有疑问，我在 Google 上找不到该公式。

使用 precision@K，一般公式将是 top-k 集中相关推荐项目的比例。

我的问题是如何定义哪些项目相关，哪些不相关，因为用户不一定与所有可用项目进行交互，而只与其中的一小部分进行交互。如果前 k 个推荐项目缺乏真实性，这意味着用户没有与其中一些项目进行交互，因此我们没有实际的评分怎么办？我们应该在计算中忽略它们还是将它们视为不相关的项目？

下面的文章建议忽略这些非交互项，但我对此不太确定。

https://medium.com/@m_n_malaeb/recall-and-precision-at-k-for-recommender-systems-618483226c54

提前非常感谢。

Answer 1

您提到“推荐项目”，所以我假设您正在谈论推荐引擎的计算精度，即前k中准确预测用户 future 的预测数量互动。

推荐引擎的目标是根据过去的交互对 future 的交互进行建模。这样的模型是在交互数据集上进行训练的，最后一次交互是目标，n 过去的交互是特征。

因此，可以通过在已知基本事实(最后一次交互)的测试集上运行模型，然后除以基本事实位于前 k 内的预测数量来计算精度通过测试项目总数进行预测。

用户未交互过的项目不会出现，因为我们正在根据其他用户的行为来训练模型。