python - Pyspark - 将数据帧写入 2 个不同的 csv 文件

Question

我想将单个 DataFrame 保存到 2 个不同的 csv 文件中(拆分 DataFrame) - 一个仅包含标题，另一个包含其余行。

我想将这两个文件保存在同一目录下，因此如果可能的话，Spark 处理所有逻辑将是最好的选择，而不是使用 pandas 拆分 csv 文件。

最有效的方法是什么？

感谢您的帮助!

Answer 1

假设您有一个名为“df”的数据集。

您可以:选项一:写两次:

df.write.(...).option("header", "false").csv(....)
df.take(1).option("header", "true").csv() // as far as I remember, someone had problems with saving DataFrame without rows -> you must write at least one row and then manually cut this row using normal Java or Python file API

或者您可以使用 header = true 编写一次，然后使用普通 Java API 手动剪切 header 并将其放入新文件中