python - 保存的数据带有不需要的引号

Question

我使用以下代码将数据框导出到 csv:

data.write.format('com.databricks.spark.csv').options(delimiter="\t", codec="org.apache.hadoop.io.compress.GzipCodec").save('s3a://myBucket/myPath')

请注意，我使用 delimiter="\t"，因为我不想在每个字段周围添加额外的引号。但是，当我检查输出 csv 文件时，仍然有一些字段用引号引起来。例如

abcdABCDAAbbcd ....
1234_3456ABCD  ...
"-12345678AbCd"  ...

当字段的前导字符为“-”时，似乎会出现引号。为什么会发生这种情况？有办法避免这种情况吗？谢谢!

Answer 1

您没有使用 CSV 编写器提供的所有选项。它具有 quoteMode 参数，该参数采用四个值之一(来自 org.apache.commons.csv documentation 的描述:

• ALL - 引用所有字段
• MINIMAL(默认)-引用包含特殊字符的字段，例如分隔符、引号字符或行分隔符中的任何字符
• NON_NUMERIC - 引用所有非数字字段
• NONE - 从不引用字段

如果想避免引用最后一个选项看起来是一个不错的选择，不是吗？