scala - 如何获得两个DataFrame之间的对称差异？

Question

在 SparkSQL 1.6 API (scala) Dataframe具有用于 intersect 和 except 的函数，但没有用于差异的函数。显然，可以使用 union 和 except 的组合来产生差异:

df1.except(df2).union(df2.except(df1))

但这似乎有点尴尬。根据我的经验，如果有些事情看起来很尴尬，有更好的方法来做，尤其是在 Scala 中。

Answer 1

您可以随时将其重写为:

df1.unionAll(df2).except(df1.intersect(df2))

说真的，虽然这 UNION , INTERSECT和 EXCEPT/ MINUS几乎是一组标准的 SQL 组合运算符。我不知道有任何系统提供开箱即用的 XOR 之类的操作。很可能是因为使用其他三个实现是微不足道的，并且没有太多可以优化的地方。