azure - Databricks 包 com.databricks.spark.xml 存在编码问题

Question

我正在处理一个编码问题，几乎可以通过数据帧中所需字段的解码/编码来解决，如下例所示:

df.withColumn("column1", 解码(encode("column1", "windows-1252"), "UTF8"))

从中获取值 至 ，例如。

但是在某些特殊情况下，例如“Á”或“Í”，我无法得到预期的结果:

从此对此

有人处理同样的问题并使用其他解决方案获得良好的结果吗？

提前致谢!

Answer 1

我将编码更改为 iso-8859-15 解决了这个问题。并将数据的负载也修改为此编码类型，如下所示:

df = (
spark.read.format("com.databricks.spark.xml")
.option("encoding", "UTF-8")
.option("charset", "iso-8859-15")
.option("rowTag", "Header")
.load(folder_path)