scala - 如何在多列上联接数据集？

Question

给定两个Spark数据集，A和B我可以在单个列上进行联接，如下所示：

a.joinWith(b, $"a.col" === $"b.col", "left")

我的问题是您是否可以使用多列进行联接。本质上等效于以下DataFrames api代码：

a.join(b, a("col") === b("col") && a("col2") === b("col2"), "left")

Answer 1

您可以使用与Dataframe完全相同的方法来执行此操作：

val xs = Seq(("a", "foo", 2.0), ("x", "bar", -1.0)).toDS
val ys = Seq(("a", "foo", 2.0), ("y", "bar", 1.0)).toDS

xs.joinWith(ys, xs("_1") === ys("_1") && xs("_2") === ys("_2"), "left").show
// +------------+-----------+
// |          _1|         _2|
// +------------+-----------+
// | [a,foo,2.0]|[a,foo,2.0]|
// |[x,bar,-1.0]|       null|
// +------------+-----------+

在Spark <2.0.0中，您可以使用如下代码：

xs.as("xs").joinWith(
  ys.as("ys"), ($"xs._1" === $"ys._1") && ($"xs._2" === $"ys._2"), "left")