csv - Spark : write a CSV with null values as empty columns

Question

我正在使用 PySpark 将数据帧写入 CSV 文件，如下所示:

df.write.csv(PATH, nullValue='')

该数据框中有一列字符串类型。一些值为空。这些空值显示如下:

...,"",...

我希望它们改为这样显示:

...,,...

这是否可以通过 csv.write 中的选项实现？ ()?

谢谢!

Answer 1

轻松与 emptyValue选项设置
emptyValue : 设置空值的字符串表示形式。如果没有设置，它使用默认值，"" .

from pyspark import Row
from pyspark.shell import spark

df = spark.createDataFrame([
    Row(col_1=None, col_2='20151231', col_3='Hello'),
    Row(col_1=2, col_2='20160101', col_3=None),
    Row(col_1=3, col_2=None, col_3='World')
])

df.write.csv(PATH, header=True, emptyValue='')

输出

col_1,col_2,col_3
,20151231,Hello
2,20160101,
3,,World