java - Spark DataFrame - 使用 Java API 选择列列表

Question

我正在尝试使用 Java API 从 DataFrame 中选择列列表。

示例 Java 代码:

List<String> colList = Arrays.asList(new String[] { "column1", "column2", "column3" });
df.selectExpr((String[])colList.toArray()).show();

在Java API中，我必须使用selectExpr而不是select。是否有其他方法使用 Java API 选择列列表。

但是在 Scala 中，我可以执行如下操作。

Scala 代码示例:

val colList = List("column1", "column2", "column3")
df.select(colList.head, colList.tail: _*).show

Answer 1

您可以使用字符串数组:

String[] colList =  { "column1", "column2", "column3" };
String first = colList[0];
String[] rest =  Arrays.copyOfRange(colList, 1, colList.length);

logData.select(first, rest);

或列数组:

import static org.apache.spark.sql.functions.col;
import org.apache.spark.sql.Column;

Column[] colList =  { col("column1"), col("column2"), col("column3") };
logData.select(colList);