apache-spark - ALS 推荐的笛卡尔积错误

Question

我正在尝试为用户显示电影推荐列表。模型已经过训练，但在尝试显示预测时出现错误。

als = ALS(maxIter=5, regParam=0.01, userCol="userID", 
itemCol="movieID", ratingCol="rating")
# ratings is a DataFrame of (movieID, rating, userID)
model = als.fit(ratings)
# allMovies is a DataFrame of (movieID, userID)
# it has userID=0 and all distinct movieID
recommendations = model.transform(allMovies)
recommendations.take(20)

使用来自 pyspark.ml.recommendation.ALS 的 库和运行最后一行时，出现错误检测到逻辑计划之间 LEFT OUTER 连接的笛卡尔积。

为什么会这样？谢谢!

Answer 1

回答我自己的问题。看来你不应该使用 transform 而应该使用 recommendForUserSubset 方法。