scala - Spark/Scala - 从数据框中有条件地选择列

Question

我有两个配置单元表 A 和 B 以及它们各自的数据帧 df_a 和 df_b

A
+----+----- +-----------+
| id | name | mobile1   |
+----+----- +-----------+
| 1  | Matt | 123456798 |
+----+----- +-----------+
| 2  | John | 123456798 |
+----+----- +-----------+
| 3  | Lena |           |
+----+----- +-----------+

B
+----+----- +-----------+
| id | name | mobile2   |
+----+----- +-----------+
| 3  | Lena | 123456798 |
+----+----- +-----------+

并想执行类似的操作

select A.name, nvl(nvl(A.mobile1, B.mobile2), 0) from A left outer join B on A.id = B.id

到目前为止我想出了

df_a.join(df_b, df_a("id") <=> df_b("id"), "left_outer").select(?)

我不知道如何像在 Hive 查询中那样有条件地选择 mobile1 或 mobile2 或 0。

有人可以帮我解决这个问题吗？我正在使用 Spark 1.5。

Answer 1

使用coalesce :

import org.apache.spark.sql.functions._
df_a.join(df_b, df_a("id") <=> df_b("id"), "left_outer").select(
     coalesce(df_a("mobile1"), df_b("mobile2"), lit(0))
)

如果存在则使用 mobile1，如果不存在则使用 mobile2，如果不存在则使用 0