apache-spark - Spark : Read dat file with a special case

Question

我有一个由 \u0001 分隔的 .dat 文件。应该是这样的

+---+---+---+
|A  |B  |C  |
+---+---+---+
|1  |2,3|4  |
+---+---+---+
|5  |6  |7  |
+---+---+---+

但是我得到的文件有几行的字段之间有很多空格

A\u0001B\u0001C
1\u0001"2,3"                                                                               \u00014
5\u00016\u00017

在上面的第二行中，两列之间有 79 个空格。现在，当我在 Spark 中读取文件时

val df = spark.read.format("csv").option("header", "true").option("delimiter", "\u0001").load("path")

df.show(false)

+---+-----------------------------------------------------------------------------------+----+
|A  |B                                                                                  |C   |
+---+-----------------------------------------------------------------------------------+----+
|1  |2,3                                                                               4|null|
+---+-----------------------------------------------------------------------------------+----+
|5  |6                                                                                  |7   |
+---+-----------------------------------------------------------------------------------+----+

有没有办法在不更改输入文件的情况下解决这个问题？

Answer 1

尝试添加 .option("ignoreTrailingWhiteSpace", true)

来自documentation :

ignoreTrailingWhiteSpace (default false): a flag indicating whether ornot trailing whitespaces from values being read should be skipped.

---

编辑:您需要关闭报价以使其适用于您的示例:

val df2 = spark.read.format("csv")
  .option("header", true)
  .option("quote", "")
  .option("delimiter", "\u0001")
  .option("ignoreTrailingWhiteSpace", true)
  .load("data2.txt")

结果:

df2.show()
+---+-----+---+
|  A|    B|  C|
+---+-----+---+
|  1|"2,3"|  4|
|  5|    6|  7|
+---+-----+---+

要删除引号，您可以尝试(注意这将删除字符串中的引号):

import org.apache.spark.sql.functions.regexp_replace

df2.withColumn("B", regexp_replace(df2("B"), "\"", "")).show()
+---+---+---+
|  A|  B|  C|
+---+---+---+
|  1|2,3|  4|
|  5|  6|  7|
+---+---+---+