python - 如何在 pyspark 中将具有空值的数据帧写入 CSV

Question

我正在使用以下代码写入 CSV 文件。

df.coalesce(1).write.format("com.databricks.spark.csv").option("header", "true").option("nullValue"," ").save("/home/user/test_table/")

当我执行它时，我收到以下错误:

java.lang.UnsupportedOperationException: CSV data source does not support null data type.

有人可以帮忙吗？

Answer 1

我遇到了同样的问题(没有将该命令与 nullValue 选项一起使用)，我通过使用 fillna 解决了它方法。
而且我还意识到fillna 不适用于_corrupt_record ，所以我放弃了，因为我不需要它。

df = df.drop('_corrupt_record')
df = df.fillna("")
df.write.option('header', 'true').format('csv').save('file_csv')