apache-spark - MLlib 到 Breeze 向量/矩阵对于 org.apache.spark.mllib 范围是私有(private)的吗？

Question

我在某处读到 MLlib 本地向量/矩阵目前正在包装 Breeze 实现，但是将 MLlib 转换为 Breeze 向量/矩阵的方法是 org.apache.spark.mllib 范围内的私有(private)方法。解决此问题的建议是在 org.apache.spark.mllib.something 包中编写代码。

有一个更好的方法吗？你能举一些相关的例子吗？

谢谢并恭祝安康，

Answer 1

该解决方案避免将代码放入 Spark 的包中，并避免将稀疏向量转换为密集向量:

def toBreeze(vector: Vector) : breeze.linalg.Vector[scala.Double] = vector match {
      case sv: SparseVector => new breeze.linalg.SparseVector[Double](sv.indices, sv.values, sv.size)
      case dv: DenseVector => new breeze.linalg.DenseVector[Double](dv.values)
    }