java - 在JAVA中的apache Spark数据集中添加 header

Question

以下问题包含使用 Scala 语言在数据框中添加 header 的解决方案。我想用java语言在数据集中添加标题。 add header and column to dataframe spark

我正在读取一个不包含标题的文件:

Dataset<Row> ds= spark.read().format("csv").option("header", "false").load(filepath);

和 ds.show() 打印:

+----------+----------------+----------+----+----+---------+----+
|       _c0|             _c1|       _c2| _c3| _c4|      _c5| _c6|
+----------+----------------+----------+----+----+---------+----+
|04/13/2019|             US1|04/13/2019|null|null|      abc|null|
|04/13/2019|             US1|04/13/2019|null|null|    qwert|null|
|04/13/2019|             US1|04/13/2019|null|null|     xyzz|null|
+----------+----------------+----------+----+----+---------+----+

所需的输出包含我的标题:

+----------+----------------+----------+----+----+---------+----+
| orderDate|          symbol|  sellDate| prc|  id|  product| cod|
+----------+----------------+----------+----+----+---------+----+
|04/13/2019|             US1|04/13/2019|null|null|      abc|null|
|04/13/2019|             US1|04/13/2019|null|null|    qwert|null|
|04/13/2019|             US1|04/13/2019|null|null|     xyzz|null|
+----------+----------------+----------+----+----+---------+----+

有人可以在这方面提供帮助吗？

Answer 1

我找到了问题的答案。

toDF() 可用于添加 header ，如下所示:

Dataset<Row> ds= spark.read().format("csv").option("header", "false").load(filepath).toDF("orderDate","symbol","selldate","prc","id","product","cod")

这也可以用于重命名 header (如果存在)。像这样:

Dataset<Row> ds= spark.read().format("csv").option("header", "true").load(filepath).toDF("orderDate","symbol","selldate","prc","id","product","cod")