python - Spark MLlib 推荐引擎的方法

Question

我正在使用 pySpark MLlib 和开箱即用的 ALS 方法进行协同过滤。只是想知道，Spark 是否提供了其他一些进行过滤(用于计算距离)的方法，例如 Pearson 或 Cosine 的？可以在Spark环境中完成吗？

非常感谢!

Answer 1

是的，Spark 有余弦相似度的实现。

https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/mllib/CosineSimilarity.scala

scala 示例

    // Load and parse the data file.
    val rows = sc.textFile(params.inputFile).map { line =>
      val values = line.split(' ').map(_.toDouble)
      Vectors.dense(values)
    }.cache()
    val mat = new RowMatrix(rows)
    val exact = mat.columnSimilarities()