java - 将 Spark 作业写入 NFSv3 安装卷的变音问题

Question

我正在尝试在 spark 作业期间将文件复制到 nfsv3 安装卷。一些文件包含变音符号。例如:

格式错误的输入或输入包含无法映射的字符:/import/nfsmountpoint/Währungszählmaske.pdf

错误发生在以下scala代码行中:

//targetPath is String and looks ok    
val target = Paths.get(targetPath)

尽管 spark 机器上的 linux 语言环境设置为 en_US.UTF-8，但文件编码显示为 ANSI X3.4-1968。

我已经尝试使用以下参数更改 spark 作业本身的语言环境:

--conf 'spark.executor.extraJavaOptions=-Dsun.jnu.encoding=UTF8 -Dfile.encoding=UTF8'

--conf 'spark.driver.extraJavaOptions=-Dsun.jnu.encoding=UTF8 -Dfile.encoding=UTF8'

这解决了错误，但目标卷上的文件名如下所示:/import/nfsmountpoint/W?hrungsz?hlmaske.pdf

卷挂载点是:

hnnetapp666.mydomain:/vol/nfsmountpoint on /import/nfsmountpoint type nfs (rw,nosuid,relatime,vers=3,rsize=65536,wsize=65536,namlen=255,hard,noacl,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=4.14.1.36,mountvers=3,mountport=4046,mountproto=udp,local_lock=none,addr=4.14.1.36)

有没有办法解决这个问题？

Answer 1

通过设置如上所述的编码设置并手动从 UTF-8 转换到 UTF-8 解决了这个问题:

Solution for encoding conversion

只使用支持 UTF-8 的 NFSv4 会是一个更简单的解决方案。