scala - 如何将已知的结构化 RDD 转换为 Vector

Question

假设我有一个包含 (Int, Int) 元组的 RDD。
我希望把它变成一个 Vector，其中元组中的第一个 Int 是索引，第二个是值。

任何想法我该怎么做？

我更新了我的问题并添加了我的解决方案以澄清:
我的RDD已经被key减少了，key的个数是已知的。
我想要一个向量来更新单个累加器而不是多个累加器。

我的最终解决方案是:

reducedStream.foreachRDD(rdd => rdd.collect({case (x: Int,y: Int) => {
  val v = Array(0,0,0,0)
  v(x) = y
  accumulator += new Vector(v)
}}))

使用 Vector来自文档中的累加器示例。

Answer 1

rdd.collectAsMap.foldLeft(Vector[Int]()){case (acc, (k,v)) => acc updated (k, v)}

将 RDD 变成 Map。然后迭代它，边走边构建一个 Vector。

您可以使用 justt collect()，但是如果具有相同键的元组有很多重复可能不适合内存。