scala - 如何加入具有相同列的数据集并选择一个？

Question

我有两个 Spark 数据帧，我将加入并在之后进行选择。我想选择其中一个数据框的特定列。但在另一个中存在相同的列名。因此，我收到了歧义列的异常。

我试过这个:

d1.as("d1").join(d2.as("d2"), $"d1.id" === $"d2.id", "left").select($"d1.columnName")

和这个:

d1.join(d2, d1("id") === d2("id"), "left").select($"d1.columnName")

但它不起作用。

Answer 1

您使用的是哪个 Spark 版本？你能放一个你的数据框样本吗？
尝试这个:

d2prim = d2.withColumnRenamed("columnName", d2_columnName)   
d1.join(d2prim , Seq("id"), "left_outer").select("columnName")