scala - 如何将字符串连接到 Spark 中的列？

Question

我有以下数据，并希望获得带有文本前缀的结果:

输入数据框:

sk            id       
2306220722    117738

当前代码:

df.withColumn("Remarks", concat_ws("MCA", col("ID")))

预期输出:

sk           id      Remarks  
2306220722   117738  MCA 117738

我想加前缀 id带有“MCA”的列并将结果字符串添加到 Remarks柱子。

Answer 1

只需使用 concat命令与 lit 结合使用. lit将采用一个值并生成一个仅包含该值的列，它可以是字符串、 double 值等。

val df2 = df.withColumn("Remarks", concat(lit("MCA "), col("id")))

使用问题中的示例数据框并运行 df2.show()给

+----------+------+----------+
|        sk|    id|   Remarks|
+----------+------+----------+
|2306220722|117738|MCA 117738|
+----------+------+----------+