scala - Spark-Scala 格式错误的行问题

Question

我有一个 control-A 分隔文件，我正在尝试将其转换为 parquet 格式。但是在文件中有一个带有单个 "的字符串字段。

读取如下数据:

val dataframe = sparkSession.sqlContext.read
                .format("com.databricks.spark.csv")
                .option("delimiter", datasetDelimiter)
                .option("header", "false")
                .option("mode","FAILFAST")
                //.option("mode", "DROPMALFORMED")
                .option("treatEmptyValuesAsNulls","true")
                .option("nullValue"," ")
                .option("ignoreLeadingWhiteSpace", "true")
                .option("ignoreTrailingWhiteSpace", "true")
                .schema(schema)
                .load(fileLocation)
                dataframe

如您所见，数据中只有一个左双引号，没有右双引号。这导致 Malformed Line 异常。在阅读时，我明确提到分隔符为 U0001。有没有办法在不丢失任何数据的情况下将此类数据转换为 Parquet

Answer 1

您可以将 quote 选项设置为空字符串:

.option("quote", "") 
// or, equivalently, .option("quote", '\u0000')

这将告诉 Spark 将 " 视为任何其他非特殊字符。

(使用 Spark 2.1.0 测试)