csv - 如何使用UTF-8编码解析CSV文件？

Question

我使用Spark 2.1。

输入的csv文件包含unicode字符，如下所示



解析此csv文件时，输出如下所示



我使用MS Excel 2010查看文件。

使用的Java代码是

@Test
public void TestCSV() throws IOException {
    String inputPath = "/user/jpattnaik/1945/unicode.csv";
    String outputPath = "file:\\C:\\Users\\jpattnaik\\ubuntu-bkp\\backup\\bug-fixing\\1945\\output-csv";
    getSparkSession()
      .read()
      .option("inferSchema", "true")
      .option("header", "true")
      .option("encoding", "UTF-8")
      .csv(inputPath)
      .write()
      .option("header", "true")
      .option("encoding", "UTF-8")
      .mode(SaveMode.Overwrite)
      .csv(outputPath);
}

如何获得与输入相同的输出？

Answer 1

我的猜测是输入文件不在UTF-8中，因此您得到了不正确的字符。

我的建议是编写一个纯Java应用程序(根本没有Spark)，看看用UTF-8编码是否可以得到相同的结果。