groovy - 两个RDD之间的Apache Spark差异

Question

说我有这个示例工作(在带有Java API的Groovy中):

def set1 = []
def set2 = []
0.upto(10) { set1 << it }
8.upto(20) { set2 << it }
def rdd1 = context.parallelize(set1)
def rdd2 = context.parallelize(set2)

//What next?

如何获得两个之间的差值的集合？我知道 union可以创建一个包含这些RDD中所有数据的RDD，但是我该怎么做呢？

Answer 1

如果只想设置一个减法，subtract将是一个答案。如果要“外部”集合，请尝试:

rdd1.subtract(rdd2).union(rdd2.subtract(rdd1))