java - Spark DataFrame 和重命名多列 (Java)

Question

有没有比多次调用 dataFrame.withColumnRenamed() 更好的方法来同时为给定 SparkSQL DataFrame 的所有或多个列添加前缀或重命名？

例如，如果我想检测更改(使用完全外部连接)。然后我剩下两个具有相同结构的 DataFrame。

Answer 1

我建议使用 select() 方法来执行此操作。事实上 withColumnRenamed() 方法本身使用 select() 。以下是如何重命名多列的示例:

import org.apache.spark.sql.functions._

val someDataframe: DataFrame = ...

val initialColumnNames = Seq("a", "b", "c")
val renamedColumns = initialColumnNames.map(name => col(name).as(s"renamed_$name"))
someDataframe.select(renamedColumns : _*)