gpt4 book ai didi

apache-spark - 大型稀疏矩阵,带 Spark 的 svd,python

转载 作者:行者123 更新时间:2023-12-03 17:49:12 24 4
gpt4 key购买 nike

我想在spark上分析数据。如果python不起作用,我需要svd矩阵来使用python或scala来实现推荐算法。但数据大而稀疏。

数据中有两列。一个是用户名,另一个是项目名。
如果用户和项目在一行中,则表示用户喜欢该项目。
有 70 万个项目和 2 万个用户。所以它的情况下内存错误。

如何处理

最佳答案

我建议你在 scipy csr matrix 下加载数据.

存储稀疏矩阵比使用 numpy 更有效。

最好的事物。

关于apache-spark - 大型稀疏矩阵,带 Spark 的 svd,python,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25346317/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com