apache-spark - 如何将RDD复制到多个RDD中？

Question

是否可以将一个 RDD 复制到两个或多个 RDD 中？

我想使用 cassandra-spark 驱动程序并将 RDD 保存到 Cassandra 表中，此外，继续进行更多计算(并最终将结果也保存到 Cassandra)。

Answer 1

RDD s 是不可变的，RDD 上的转换会创建新的 RDD。因此，没有必要创建 RDD 的副本来应用不同的操作。

您可以将基本 RDD 保存到二级存储并进一步对其应用操作。

这完全没问题:

val rdd = ???
val base = rdd.byKey(...)
base.saveToCassandra(ks,table)
val processed = byKey.map(...).reduceByKey(...)
processed.saveToCassandra(ks,processedTable)
val analyzed = base.map(...).join(suspectsRDD).reduceByKey(...)
analyzed.saveAsTextFile("./path/to/save")