scala - 如何将两个RDD合并为一个RDD

Question

这个问题在这里已经有了答案:





Concatenating datasets of different RDDs in Apache spark using scala

(2 个回答)


4年前关闭。




帮助，我有两个 RDD，我想合并到一个 RDD。这是我的代码。

val us1 = sc.parallelize(Array(("3L"), ("7L"),("5L"),("2L")))
val us2 = sc.parallelize(Array(("432L"), ("7123L"),("513L"),("1312L")))

Answer 1

只需使用联合:

val merged = us1.union(us2)

文档是 here

Scala 中的 Shotcut 是:

val merged = us1 ++ us2