apache-spark - 如何用python在spark中加入两个RDD？

Question

认为

rdd1 = ( (a, 1), (a, 2), (b, 1) ),
rdd2 = ( (a, ?), (a, *), (c, .) ).

想要生成

( (a, (1, ?)), (a, (1, *)), (a, (2, ?)), (a, (2, *)) ).

有什么简单的方法吗？
我认为它与交叉连接不同，但找不到好的解决方案。
我的解决方案是

(rdd1
 .cartesian( rdd2 )
 .filter( lambda (k, v): k[0]==v[0] )
 .map( lambda (k, v): (k[0], (k[1], v[1])) ))

Answer 1

您只是在寻找一个简单的连接，例如

rdd = sc.parallelize([("red",20),("red",30),("blue", 100)])
rdd2 = sc.parallelize([("red",40),("red",50),("yellow", 10000)])
rdd.join(rdd2).collect()
# Gives [('red', (20, 40)), ('red', (20, 50)), ('red', (30, 40)), ('red', (30, 50))]