scala - 合并 Spark 数据框中的列

Question

我做了一个算法，我得到了很多带有名称逻辑和数字后缀的列，我需要做coalesce但我不知道如何申请coalesce具有不同数量的列。

例子:

|id|logic_01|logic_02|logic_03|
|1 |  null  |a       |null    |  
|2 |  null  |b       |null    |   
|3 |   c    | null   |null    |   
|4 |  null  | null   |d       |

回复:

|id|logic|
|1 |  a  |  
|2 |  b  |   
|3 |  c  |   
|4 |  d  | 

另一个例子:

|id|logic_01|logic_02|logic_03|logic_04|
|1 |  null  |a       |null    |null    |  
|2 |  null  | null   |null    |b       |   
|3 |   c    | null   |null    |null    |    
|4 |  null  | null   |d       |null    |

回复:

|id|logic|
|1 |  a  |  
|2 |  b  |   
|3 |  c  |   
|4 |  d  | 

谢谢你的帮助。

Answer 1

首先在 coalesce 中找到要使用的所有列:

val cols = df.columns.filter(_.startsWith("logic")).map(col(_))

然后执行实际 coalesce :

df.select($"id", coalesce(cols: _*).as("logic"))