gpt4 book ai didi

java - Apache Spark 中的矩阵乘法

转载 作者:行者123 更新时间:2023-12-02 02:03:46 24 4
gpt4 key购买 nike

我正在尝试使用 Apache Spark 和 Java 执行矩阵乘法。

我有两个主要问题:

  1. 如何在 Apache Spark 中创建可以表示矩阵的 RDD?
  2. 如何将两个这样的 RDD 相乘?

最佳答案

一切都取决于输入数据和维度,但一般来说您想要的不是 RDD org.apache.spark.mllib.linalg.distributed 中的分布式数据结构之一。目前它提供了 DistributedMatrix 的四种不同实现。

  • IndexedRowMatrix - 可以直接从 RDD[IndexedRow] 创建哪里 IndexedRow 由行索引和 org.apache.spark.mllib.linalg.Vector 组成

    import org.apache.spark.mllib.linalg.{Vectors, Matrices}
    import org.apache.spark.mllib.linalg.distributed.{IndexedRowMatrix,
    IndexedRow}

    val rows = sc.parallelize(Seq(
    (0L, Array(1.0, 0.0, 0.0)),
    (0L, Array(0.0, 1.0, 0.0)),
    (0L, Array(0.0, 0.0, 1.0)))
    ).map{case (i, xs) => IndexedRow(i, Vectors.dense(xs))}

    val indexedRowMatrix = new IndexedRowMatrix(rows)
  • RowMatrix - 类似于IndexedRowMatrix但没有有意义的行索引。可以直接从RDD[org.apache.spark.mllib.linalg.Vector]创建

    import org.apache.spark.mllib.linalg.distributed.RowMatrix

    val rowMatrix = new RowMatrix(rows.map(_.vector))
  • BlockMatrix - 可以从 RDD[((Int, Int), Matrix)] 创建其中元组的第一个元素包含 block 的坐标,第二个元素是本地 org.apache.spark.mllib.linalg.Matrix

    val eye = Matrices.sparse(
    3, 3, Array(0, 1, 2, 3), Array(0, 1, 2), Array(1, 1, 1))

    val blocks = sc.parallelize(Seq(
    ((0, 0), eye), ((1, 1), eye), ((2, 2), eye)))

    val blockMatrix = new BlockMatrix(blocks, 3, 3, 9, 9)
  • CoordinateMatrix - 可以从 RDD[MatrixEntry] 创建哪里 MatrixEntry 由行、列和值组成。

    import org.apache.spark.mllib.linalg.distributed.{CoordinateMatrix,
    MatrixEntry}

    val entries = sc.parallelize(Seq(
    (0, 0, 3.0), (2, 0, -5.0), (3, 2, 1.0),
    (4, 1, 6.0), (6, 2, 2.0), (8, 1, 4.0))
    ).map{case (i, j, v) => MatrixEntry(i, j, v)}

    val coordinateMatrix = new CoordinateMatrix(entries, 9, 3)

前两个实现支持本地乘法 Matrix :

val localMatrix = Matrices.dense(3, 2, Array(1.0, 2.0, 3.0, 4.0, 5.0, 6.0))

indexedRowMatrix.multiply(localMatrix).rows.collect
// Array(IndexedRow(0,[1.0,4.0]), IndexedRow(0,[2.0,5.0]),
// IndexedRow(0,[3.0,6.0]))

第三个可以乘以另一个 BlockMatrix只要该矩阵中每个 block 的列数与另一个矩阵中每个 block 的行数匹配。 CoordinateMatrix不支持乘法,但很容易创建和转换为其他类型的分布式矩阵:

blockMatrix.multiply(coordinateMatrix.toBlockMatrix(3, 3))

每种类型都有其自身的优点和缺点,并且在使用稀疏或密集元素( Vectors 或 block Matrices )时还需要考虑一些其他因素。乘以局部矩阵通常是更可取的,因为它不需要昂贵的洗牌。

您可以在the MLlib Data Types guide中找到有关每种类型的更多详细信息。 。

关于java - Apache Spark 中的矩阵乘法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33558755/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com