python - 转义 Spark CSV 读取中的换行符

Question

我正在开发 Spark 2.2.1 版本并使用下面的 python 代码，我可以转义特殊字符，例如 @ :我想转义换行符 (\n) 和回车符 (\r) 等特殊字符。我替换了 @ which\n，但是它没有用。请提出任何建议。

工作:

spark_df = spark.read.csv(file.csv,mode="DROPMALFORMED",inferSchema=True,header =True,escape="@")

不工作:

spark_df = spark.read.csv(file.csv,mode="DROPMALFORMED",inferSchema=True,header =True,escape="\n")

Answer 1

如果您的目标是读取包含多个换行符的文本内容的 csv，那么方法是使用 spark 多行选项。

我最近为 scala there 发布了一些代码.

val df = spark.read
.option("wholeFile", true)
.option("multiline",true)
.option("header", true)
.option("inferSchema", "true")
.option("dateFormat", "yyyy-MM-dd")
.option("timestampFormat", "yyyy-MM-dd HH:mm:ss")
.csv("test.csv")

python 语法会略有不同，但应该可以正常工作。