gpt4 book ai didi

java - 在hadoop/级联中处理UTF-16LE编码的文件

转载 作者:行者123 更新时间:2023-12-02 20:44:15 24 4
gpt4 key购买 nike

我需要在hadoop上进行级联处理UTF-16LE编码的文件。我尝试了以下方法,但这些方法均无效。

  • 将值-Xmx1024m -Dfile.encoding=UTF-16LE分配给
    中的属性mapreduce.map.java.opts mapred-site.xml
    由于NullPointerException而在以下位置失败:com.google.common.base.Preconditions.checkNotNull(Preconditions.java:187),但是此方法适用于UTF-8。 hadoop无法处理UTF-16数据吗?
  • 用代码做System.setProperty("file.encoding", "UTF-16LE");也是
    无法解析数据
  • 级联的TextDelimited类的重写字符集也是
    无法处理数据

  • 但是,使用BufferedReader在UTF-16LE中读取它可以正确解析数据。

    请帮忙

    提前致谢

    最佳答案

    在某处发现:Hadoop不支持UTF-16文件

    关于java - 在hadoop/级联中处理UTF-16LE编码的文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48682325/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com