java - 将 javaRDD 保存为 XML 文件

Question

Apache Spark 中有什么方法可以将文本的 java RDD 保存为 XML 文件吗？

我目前所做的是使用saveAsTextFile方法将RDD保存为纯文本文件，然后将其转换为XML。我有兴趣找到一种直接从 RDD 创建 XML 文件的方法。

任何提示、想法或指南将不胜感激。

Answer 1

您可以引用databricks xml库来从/向xml读取和写入数据。从数据推断模式:

import org.apache.spark.sql.SQLContext

SQLContext sqlContext = new SQLContext(sc);
DataFrame df = sqlContext.read()
    .format("com.databricks.spark.xml")
    .option("rowTag", "book")
    .load("books.xml");

df.select("author", "_id").write()
    .format("com.databricks.spark.xml")
    .option("rootTag", "books")
    .option("rowTag", "book")
    .save("newbooks.xml");