apache-spark - spark - 如何添加字段名称，当 spark 读取没有头的 csv 时

Question

我想在 spark 中读取 CSV。所以我在java中使用命令。

result = sparkSession.read().csv("hdfs://master:9000/1.csv");

它有效。但结果就像:

_c0  _c1   _c2
1     egg    T
2     bob    F
3     tom    D

但是文件(1.csv)没有head，结果'head没有用。

我想要这样的结果:

ID  Name   Class
1     egg   T
2     bob   F
3     tom   D

我该怎么做？

谢谢大家。

Answer 1

您可以使用toDF() 方法重命名所有列:https://spark.apache.org/docs/2.0.2/api/java/org/apache/spark/sql/Dataset.html#toDF(java.lang.String...)

例如:

result = sparkSession.read().csv("hdfs://master:9000/1.csv").toDF("ID", "Name", "Class")