scala - Spark和Scala，通过映射公共(public)键添加具有来自另一个数据帧的值的新列

Question

这个问题已经有答案了:

How to join two DataFrames and change column for missing values? (3 个回答)

How to do left outer join in spark sql? (3 个回答)

已关闭 5 年前。

我有 2 个数据框。
df1 =

dep-code    rank
    abc        1
    bcd        2

df2=

some cols...  dep-code 
                  abc
                  bcd
                  abc

我想将新列添加到 df2 作为 df1.dep-code = df2.dep-code 的排名

结果 -

some cols...   dep-code   rank
                  abc       1
                  bcd       2
                  abc       1

Answer 1

这是一个简单的连接:

df2.join(df1, "dep-code")

具有以下输入:

df1 带有连接和所需的列:

+--------+----+
|dep-code|rank|
+--------+----+
|     abc|   1|
|     bcd|   2|
+--------+----+

df2 带有连接列加上一个额外的列 (aColumn):

+----------+--------+
|   aColumn|dep-code|
+----------+--------+
|      some|     abc|
| someother|     bcd|
|yetAnother|     abc|
+----------+--------+

您将检索以下输出:

+--------+----------+----+
|dep-code|   aColumn|rank|
+--------+----------+----+
|     abc|      some|   1|
|     abc|yetAnother|   1|
|     bcd| someother|   2|
+--------+----------+----+