apache-spark - Spark MLLib 与新用户的协同过滤

Question

我正在尝试在 Spark 中实现的协作过滤算法，并遇到以下问题:

假设我用以下数据训练模型:

u1|p1|3
u1|p2|3
u2|p1|2
u2|p2|3

现在，如果我用以下数据测试它:

u1|p1|1
u3|p1|2
u3|p2|3

我从来没有看到用户“u3”的任何评分，大概是因为该用户没有出现在训练数据中。这是因为冷启动问题吗？我的印象是这个问题只适用于新产品。在这种情况下，我会期待对“u3”的预测，因为训练数据中的“u1”和“u2”具有与“u3”相似的评级信息。这是基于模型和基于内存的协同过滤的区别吗？

Answer 1

我假设您在谈论 ALS 算法？

'u3' 不是您的训练集，因此您的模型对该用户一无所知。唯一能做的就是返回所有用户的平均评分。

查看 Spark 1.3.0 Scala 代码:MatrixFactorizationModel由 ALS.train() 返回当您调用 predict() 时，尝试在特征向量中查找用户和产品.我得到一个 NoSuchElementException当我尝试预测未知用户的评分时。它只是以这种方式实现的。