java - Spark : How to save a dataframe with headers?

Question

dataframe.saveasTextFile，仅以分隔格式保存数据。如何在 JAVA 中保存带有标题的数据框。

sourceRufFrame.toJavaRDD().map(new TildaDelimiter()).coalesce(1, true).saveAsTextFile(targetSrcFilePath);

Answer 1

如果你想保存为 csv 文件，我建议使用 spark-csv 包。您可以简单地使用 spark-csv 保存您的数据框，如下所示。

dataFrame.write
  .format("com.databricks.spark.csv")
  .option("header", "true")
  .option("delimiter",<your delimiter>)
  .save(output)

您可以引用以下链接，了解更多信息: https://github.com/databricks/spark-csv

Spark-csv 有 maven 依赖。