- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我真的很想将我的 org.apache.spark.mllib.linalg.Matrix 转换为 org.apache.spark.mllib.linalg.distributed.RowMatrix
我可以这样做:
val xx = X.computeGramianMatrix() //xx is type org.apache.spark.mllib.linalg.Matrix
val xxs = xx.toString()
val xxr = xxs.split("\n").map(row => row.replace(" "," ").replace(" "," ").replace(" "," ").replace(" "," ").replace(" ",",").split(","))
val xxp = sc.parallelize(xxr)
val xxd = xxp.map(ar => Vectors.dense(ar.map(elm => elm.toDouble)))
val xxrm: RowMatrix = new RowMatrix(xxd)
最佳答案
我建议您转换您的 Matrix
到 RDD[Vector]
您可以自动转换为 RowMatrix
之后。
因此,让我们考虑以下示例:
import org.apache.spark.rdd._
import org.apache.spark.mllib.linalg._
val denseData = Seq(
Vectors.dense(0.0, 1.0, 2.0),
Vectors.dense(3.0, 4.0, 5.0),
Vectors.dense(6.0, 7.0, 8.0),
Vectors.dense(9.0, 0.0, 1.0)
)
val dm: Matrix = Matrices.dense(3, 2, Array(1.0, 3.0, 5.0, 2.0, 4.0, 6.0))
Matrix
成
RDD[Vector]
:
def matrixToRDD(m: Matrix): RDD[Vector] = {
val columns = m.toArray.grouped(m.numRows)
val rows = columns.toSeq.transpose // Skip this if you want a column-major RDD.
val vectors = rows.map(row => new DenseVector(row.toArray))
sc.parallelize(vectors)
}
Matrix
上应用该转换:
import org.apache.spark.mllib.linalg.distributed.RowMatrix
val rows = matrixToRDD(dm)
val mat = new RowMatrix(rows)
关于scala - 使用 Scala 在 Apache Spark 中将矩阵转换为 RowMatrix,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30169841/
我有RowMatrix我的问题是,我如何通过索引来操纵它?这个问题与这个问题非常相似: Matrix Operation in Spark MLlib in Java 最后,我需要的就是拥有带有良好类
TL;DR; 我正在尝试训练现有数据集(Seq[Words] 以及相应的类别),并使用该训练数据集来过滤另一个数据集使用类别相似度的数据集。 我正在尝试训练数据语料库,然后将其用于文本分析*。我尝试过
我需要计算一行各列之间的相似度,并尝试使用 columnsimilarities() 方法来获得结果。 public static void main(String[] args) { Spa
您好,我想知道如何在 PySpark 中转置 RowMatrix。 data = [(MLLibVectors.dense([1.0, 2.0]), ), (MLLibVectors.dense([3
我在我的推荐系统中遇到了“all-pairs Similarity”问题。感谢 this databricks blog ,看来 RowMatrix 可能会来帮忙。 但是,RowMatrix 是一种没
假设我有一个 RowMatrix。 我该如何转置它。 API文档好像没有转置方法。 Matrix 有 transpose() 方法。但它不是分布式的。如果我有一个大于内存的大矩阵,我该如何转置它? 我
我有一个 rowMatrix xw scala> xw res109: org.apache.spark.mllib.linalg.distributed.RowMatrix = org.apache
我有一个关于电影的用户评分(从 1 到 5)的 DataFrame。为了获取 DataFrame,其中第一列是电影 id,其余列是每个用户对该电影的评分,我执行以下操作: val ratingsPer
我有一个形式为(id1,id2,score)的RDD。顶部(5)行看起来像 [(41955624, 42044497, 3.913625989045223e-06), (41955624, 42039
我有一个 X 分布式矩阵,采用 RowMatrix 形式。我正在使用 Spark 1.3.0。我需要能够计算X逆。 最佳答案 import org.apache.spark.mllib.linalg.
我在 Scala 中得到了这段代码: val mat: CoordinateMatrix = new CoordinateMatrix(data) val rowMatrix: RowMatrix =
我有一个大的 DataFrame,其中充满了用户和项目之间的关系,如下所示: item1 item2 user1 0 1 user2 1
我真的很想将我的 org.apache.spark.mllib.linalg.Matrix 转换为 org.apache.spark.mllib.linalg.distributed.RowMatri
我想知道 Apache Spark 中可用的 RowMatrix 和 Matrix 类之间的基本区别。 最佳答案 这里有一个更精确的问题是 mllib.linalg.Matrix 和 mllib.li
我有一个方形的 pyspark RowMatrix,如下所示: >>> row_mat.numRows() 100 >>> row_mat.numCols() 100 >>> row_mat.rows
我正在尝试使用函数 columnSimilarities()、computeColumnSummaryStatistics() 特别是这篇文章中提到的 columnSimilarities() 函数:
尝试将 RowMatrix 转换为 BDM(Breeze Dense Matrix),不确定如何进行需要实现 def getDenseMatrix(A: RowMatrix): BDM[Doubl
我是一名优秀的程序员,十分优秀!