java - 将数据集写入不同的 XML 文件

Question

我的目标是将输入文件读入数据集，将数据从数据库读入数据集，根据帐号加入数据集，并将指定信息输出到 XML 文件，每个文件有 50K 条记录。我总共有大约270万。

我能够成功读取文件、读取数据库并将两者连接起来。

finalDSExport.repartition(1).write().format("com.databricks.spark.xml").option("rootTag", "root").option("rowTag","record").save("test.xml");

使用该代码，我可以将所有内容写入 XML 文件。有没有办法将每个文件拆分为 50K 条记录？

Answer 1

我总是尽量避免改变我的原始数据结构，除非我需要，而且在这种情况下你似乎不需要这样做。

为什么不使用 for 循环并在每 50k 迭代时写入一个文件？您可以使用 count 查找数据集中的元素数量。 .