gpt4 book ai didi

apache-spark - 正确保存/加载 MatrixFactorizationModel

转载 作者:行者123 更新时间:2023-12-04 02:26:13 27 4
gpt4 key购买 nike

我有 MatrixFactorizationModel 对象。如果我在通过 ALS.train(...) 构建模型后立即尝试向单个用户推荐产品,则需要 300 毫秒(对于我的数据和硬件)。但是如果我将模型保存到磁盘并加载回来,那么推荐需要将近 2000 毫秒。 Spark 还警告:

15/07/17 11:05:47 WARN MatrixFactorizationModel: User factor does not have a partitioner. Prediction on individual records could be slow.
15/07/17 11:05:47 WARN MatrixFactorizationModel: User factor is not cached. Prediction could be slow.
15/07/17 11:05:47 WARN MatrixFactorizationModel: Product factor does not have a partitioner. Prediction on individual records could be slow.
15/07/17 11:05:47 WARN MatrixFactorizationModel: Product factor is not cached. Prediction could be slow.

加载模型后如何创建/设置分区器并缓存用户和产品因素?以下方法没有帮助:
model.userFeatures().cache();
model.productFeatures().cache();

此外,我试图重新分区这些 rdds 并从重新分区的版本创建新模型,但这也无济于事。

最佳答案

您不必使用括号,userFeatures 是 (Int, Array[Double]) 的 RDD,它不带参数。

这将帮助您:

model.userFeatures.cache
model.productFeatures.cache

关于apache-spark - 正确保存/加载 MatrixFactorizationModel,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31479240/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com