scala - 如何将 Spark 数据框写入 xml 文件？

Question

样本 :

scala> Frame.show()

|year| make|model|             comment|blank|
|2012|Tesla|    S|          No comment|    R|
|1997| Ford| E350|Go get one now th...|    L|
|2015|Chevy| Volt|                 Try|    M|

到

<item>
    <'year'>2012<'/year'>
    <'make'>Tesla<'/make'>
    <'model'>S<'/mode'>
</item>

Answer 1

最简单的方法是使用来自 spark-xml 的 XML writer。 :

val path: String = ???
df.write.format("com.databricks.spark.xml")
  .option("rootTag", "items")
  .option("rowTag", "item")
  .save(path)

如果由于某种原因它不符合您的需求，您可以单独转储记录和 saveAsTextFile :

def dumpXML(row: Row): String = ???
df.rdd.map(dumpXML).saveAsTextFile(path)

您可以使用例如 mapPartitions 添加根元素.