在 apache Spark 中加入列时，Java 相当于 scala 的 concat

Question

在 scala 中，我可以将数据框中的多个列连接到一个新列，例如

var dataWithNewColumns = rawData.withColumn("day_and_time", concat(rawData("day"),lit("_"),rawData("time")))

我想在 java 中做同样的事情，但我找不到任何与 concat 函数等效的东西。你能帮我吗？也欢迎任何其他选项来实现两列的组合。

提前致谢!

Answer 1

您需要在类中导入functions类(或者更确切地说，它的static方法)才能实现它，例如:

import static org.apache.spark.sql.functions.*;

导入后，代码将如下所示:

Dataset<Row> data = //get data
data.withColumn("new_Column", concat(data.col("col1"), lit("_"), data.col("col2")));