hadoop - 映射减少作业 : Protobuf related error

Question

我在运行 Map Reduce 作业时遇到错误:

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.yarn.proto.YarnProtos$LocalResourceProto.hashLong(J)I
    at org.apache.hadoop.yarn.proto.YarnProtos$LocalResourceProto.hashCode(YarnProtos.java:11655)
    at org.apache.hadoop.yarn.api.records.impl.pb.LocalResourcePBImpl.hashCode(LocalResourcePBImpl.java:62)
    at java.util.HashMap.hash(HashMap.java:362)
    at java.util.HashMap.put(HashMap.java:492)

通过谷歌搜索，我遇到了 thread ，这表明这是与 proto 版本相关的错误。它说我的应用程序依赖于 proto3 和使用 proto2 的 yarn 。

根据我的pom.xml，正在使用protobuf-java-2.6.1.jar。

谁能帮我理解这个问题以及如何解决它？

Answer 1

此错误表明代码编译时使用的 jar 文件与运行时使用的 jar 文件不同。您需要确保您使用的 protobuf jar 版本与编译代码所针对的版本完全相同。如果您没有自己编译代码，则需要弄清楚提供程序使用的是什么版本。