gpt4 book ai didi

apache-spark - Spark ALS 推荐系统预测值大于 1

转载 作者:行者123 更新时间:2023-12-02 17:14:55 25 4
gpt4 key购买 nike

我在 Spark(推荐系统算法)中使用 ALS 算法(implicitPrefs = True)。通常,运行此算法后,值预测必须从 0 到 1。但我收到的值大于 1

    "usn" : 72164,
"recommendations" : [
{
"item_code" : "C1346",
"rating" : 0.756096363067627
},
{
"item_code" : "C0117",
"rating" : 0.966064214706421
},
{
"item_code" : "I0009",
"rating" : 1.00000607967377
},
{
"item_code" : "C0102",
"rating" : 0.974934458732605
},
{
"item_code" : "I0853",
"rating" : 1.03272235393524
},
{
"item_code" : "C0103",
"rating" : 0.928574025630951
}
]

我不明白为什么或它的评级值大于 1(“评级”:1.00000607967377“评级”:1.03272235393524)

一些类似的问题,但我还是不明白:MLLib spark -ALStrainImplicit value more than 1

谁能帮我解释一下异常值

最佳答案

别担心! ALS 没有任何问题。

然而,如您所见,ALS 返回的预测分数与 Apache Spark 的隐式反馈并未标准化以适应 [0,1] 之间。有时您甚至可能会得到负值。 (更多关于 here 。)

ALS 使用随机梯度下降和近似计算(并重新计算)每一步的用户和项目因素,以最小化成本函数,从而使其能够扩展。

事实上,标准化这些分数并不重要。这样做的原因实际上是这些分数本身并没有多大意义。

您不能对这些分数的每个示例使用 RMSE 来评估推荐的性能。如果您有兴趣评估此类推荐人,我建议您阅读我在 How can I evaluate the implicit feedback ALS algorithm for recommendations in Apache Spark? 上的回答。

研究或/和行业中使用了许多技术来处理此类结果。例如,您可以使用 threshold 二值化每个说法的预测。

关于apache-spark - Spark ALS 推荐系统预测值大于 1,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46904078/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com