hadoop - HDFS 是否支持特殊字符(变音符号等)？

Question

我正在尝试将带有变音符号的文件添加到 hdfs，但是当我这样做时，我收到如下错误消息

++ hdfs dfs -put $'data/R\366\337el.doc' solr/test/test.data
put: `test.data/R��el.doc': No such file or directory

那我该怎么办？将带有 ä 的文件例如翻译成 ae 还是有另一种方法来处理这个问题？

Answer 1

HDFS 使用 Java 存储这些字符串，其字符串是 UTF-16 编码的。在网络上，Hadoop 的 RPC 使用包含变音符号和各种其他字符的 UTF-8。

您可能遇到的情况是您的 shell 似乎不支持编码或字符。

如有疑问，您始终可以使用 Java API 将文件放入 HDFS，这需要编写一些代码。