- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有 MatrixFactorizationModel 对象。如果我在通过 ALS.train(...) 构建模型后立即尝试向单个用户推荐产品,则需要 300 毫秒(对于我的数据和硬件)。但是如果我将模型保存到磁盘并加载回来,那么推荐需要将近 2000 毫秒。 Spark 还警告:
15/07/17 11:05:47 WARN MatrixFactorizationModel: User factor does not have a partitioner. Prediction on individual records could be slow.
15/07/17 11:05:47 WARN MatrixFactorizationModel: User factor is not cached. Prediction could be slow.
15/07/17 11:05:47 WARN MatrixFactorizationModel: Product factor does not have a partitioner. Prediction on individual records could be slow.
15/07/17 11:05:47 WARN MatrixFactorizationModel: Product factor is not cached. Prediction could be slow.
model.userFeatures().cache();
model.productFeatures().cache();
最佳答案
您不必使用括号,userFeatures 是 (Int, Array[Double]) 的 RDD,它不带参数。
这将帮助您:
model.userFeatures.cache
model.productFeatures.cache
关于apache-spark - 正确保存/加载 MatrixFactorizationModel,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31479240/
我有 MatrixFactorizationModel 对象。如果我在通过 ALS.train(...) 构建模型后立即尝试向单个用户推荐产品,则需要 300 毫秒(对于我的数据和硬件)。但是如果我将
给定一个 MatrixFactorizationModel返回完整的用户产品预测矩阵的最有效方法是什么(实际上,通过某个阈值过滤以保持稀疏性)? 通过当前的 API,曾经可以将用户产品的笛卡尔积传递给
我正在尝试使用 Spark 协同过滤来实现推荐系统。 首先我准备模型并保存到磁盘: MatrixFactorizationModel model = trainModel(inputDataRdd);
我使用以下代码构建了一个模型: from pyspark.mllib.recommendation import ALS, MatrixFactorizationModel, Rating model
我为 MovieLens DB 构建了一个简单的推荐系统,灵感来自 https://databricks-training.s3.amazonaws.com/movie-recommendation-
我训练了一个 MatrixFactorizationModel 模型使用 ALS.train() 现在使用 model.recommendProducts(user, num) 获得最推荐的产品,但代
我有 9 个节点集群,每个节点都有以下配置, 我正在尝试使用 ' recommendProductsForUsers 为 MatrixFactorizationModel 中的所有用户生成建议' 功能
我是一名优秀的程序员,十分优秀!