scala - Spark Scala过滤器DataFrame，其中值不在另一个DataFrame中

Question

我有两个数据帧:a和 b .这是它们的样子:

a
-------
v1 string
v2 string

roughly hundreds of millions rows


b
-------
v2 string

roughly tens of millions rows

我想保留来自 DataFrame 的行 a哪里 v2不在 b("v2") .

我知道我可以使用左连接和过滤器，其中右侧为空或 SparkSQL 与“不在”构造。我敢打赌有更好的方法。

Answer 1

您可以使用 except 来实现这一点。 Dataset的方法, 至“返回包含此数据集中的行但不包含在另一个数据集中的行的新数据集”