apache-spark - 在连接中广播左表

Question

这是我的加入:

df = df_small.join(df_big, 'id', 'leftanti')

好像 I can only broadcast the right dataframe .但是为了让我的逻辑工作(leftanti join)，我必须有我的 df_small在左手边。
如何广播左侧的数据帧？

Answer 1

不幸的是，这是不可能的。
Spark 只能为右外连接广播左侧表。
您可以通过将左反分为 2 个连接(即内连接和左连接)来获得所需的结果。

df1 = spark.createDataFrame([1, 2, 3, 4, 5], IntegerType())
df2 = spark.createDataFrame([(1, 'a'), (2, 'b')], ['value', 'col'])
inner = df1.join(broadcast(df2), 'value', 'inner')
out = df1.join(broadcast(inner), 'value', 'left').where(col('col').isNull()).drop('col')
out.show()
+-----+
|value|
+-----+
|    3|
|    4|
|    5|
+-----+

df1.join(df2, 'value', 'left_anti').show()
+-----+
|value|
+-----+
|    5|
|    3|
|    4|
+-----+