scala - 在 Spark Json 到 Csv 转换中？

Question

我有一个像下面这样的 Json 对象

{"Event":"xyz","Name":"test","Prog":0,"AId":"367","CId":"11522"}         

使用波纹管 Spark 脚本，我已经转换成 csv

 val sqlContext = new org.apache.spark.sql.SQLContext(sc)
 val df = sqlContext.load("org.apache.spark.sql.json", Map("path" -> "test1.json"))
 df.save("com.databricks.spark.csv", SaveMode.ErrorIfExists, Map("path" -> "datascv", "header" -> "true"))

我能够转换成 CSV 文件，我的输出是

AId,CId,Event,Name,Prog
367,11522,xyz,test,0

但这里的 csv header 按升序排列，但我想以自定义格式维护我的 csv 文件 header ，例如波纹管，即与我的 json 顺序相同。

Event,Name,Prog,AId,CIdEvent,Name,Prog,AId,CId

请帮我解决一下这个。

提前致谢。

Answer 1

您可以尝试以下操作。

val selectedData = df.select("Event", "Name", "Prog", "AId", "CId")
selectedData.save("com.databricks.spark.csv", SaveMode.ErrorIfExists,
                  Map("path" -> "datascv", "header" -> "true"))