gpt4 book ai didi

scala - 如何将两个RDD合并为一个RDD

转载 作者:行者123 更新时间:2023-12-05 00:02:38 27 4
gpt4 key购买 nike

这个问题在这里已经有了答案:





Concatenating datasets of different RDDs in Apache spark using scala

(2 个回答)


4年前关闭。




帮助,我有两个 RDD,我想合并到一个 RDD。这是我的代码。

val us1 = sc.parallelize(Array(("3L"), ("7L"),("5L"),("2L")))
val us2 = sc.parallelize(Array(("432L"), ("7123L"),("513L"),("1312L")))

最佳答案

只需使用联合:

val merged = us1.union(us2)

文档是 here

Scala 中的 Shotcut 是:
val merged = us1 ++ us2

关于scala - 如何将两个RDD合并为一个RDD,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41120341/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com