recommendation-engine - 如何评估基于内容的推荐系统

Question

我正在构建一个基于内容的电影推荐系统。很简单，只要让用户输入电影名称，系统就会找到特征最相似的电影。

在计算相似度并按降序排列得分后，我找到5个相似度得分最高的相应电影并返回给用户。

到目前为止，当我想评估系统的准确性时，一切都运行良好。我在谷歌上找到的一些公式只是根据评级值来评估准确性(比较预测评级和实际评级，如 RMSE)。我没有将相似性分数更改为评分(从 1 到 5 的等级)，因此我无法应用任何公式。

您能否提出任何将相似性分数转换为预测评分的方法，以便我可以应用 RMSE？或者有解决这个问题的任何想法吗？

Answer 1

你有任何基本事实吗？例如，您是否有关于用户过去喜欢/看过/购买的电影的信息？它不一定是评级，但为了评估推荐，您需要了解有关用户偏好的一些信息。

如果这样做，那么除了 RMSE 之外，还有其他方法可以测量精度。当我们预测评分时使用 RMSE(正如您所说的是真实评分和预测之间的误差)，但在您的情况下，您正在生成前 N 个推荐。在这种情况下，您可以使用精确率和召回率来评估您的建议。它们在信息检索应用程序中非常有用(参见 Wikipedia)，并且它们在推荐系统中也很常见。您还可以计算 F1 指标，它是精度和召回率的调和平均值。你会看到它们是非常简单的公式，并且很容易实现。

Guy Shani 的“评估推荐系统”是一篇关于如何评估推荐系统的非常好的论文，它将让您深入了解所有这些。您可以找到论文 here .