hadoop - PIG 脚本错误 : java. lang.NoSuchMethodError : org. apache.thrift.protocol.TProtocol.getScheme

Question

我正在 mapreduce 模式下运行 PIG 脚本。该脚本读取 RCFile(包含以 GZIP 压缩格式存储的 Thrift 序列化数据)，使用 UDF 对其进行反序列化，从 Thrift 结构中提取某些字段并存储它们。

一些映射器因以下错误而失败:

2015-12-23 03:07:45,638 FATAL [Thread-5] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.NoSuchMethodError: org.apache.thrift.protocol.TProtocol.getScheme()Ljava/lang/Class;
at com.xxx.yyy.thrift.dto.LatLong.read(LatLong.java:553)
at com.twitter.elephantbird.util.ThriftUtils.readSingleFieldNoTag(ThriftUtils.java:318)
at com.twitter.elephantbird.util.ThriftUtils.readFieldNoTag(ThriftUtils.java:352)
at com.twitter.elephantbird.mapreduce.input.RCFileThriftTupleInputFormat$TupleReader.getCurrentTupleValue(RCFileThriftTupleInputFormat.java:74)
at com.twitter.elephantbird.pig.load.RCFileThriftPigLoader.getNext(RCFileThriftPigLoader.java:46)
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigRecordReader.nextKeyValue(PigRecordReader.java:204)
at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:553)
at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:80)
at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:91)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:784)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

这是我的脚本:

REGISTER '/user/ameya/libs/geo-analysis-1.0.0-SNAPSHOT.jar';
REGISTER '/user/ameya/libs/libthrift-0.8.0.jar';
REGISTER '/user/ameya/libs/thrift-0.8-types-1.1.29-SNAPSHOT.jar';
REGISTER '/user/ameya/libs/libs/elephant-bird-pig-4.7.jar';
REGISTER '/user/ameya/libs/libs/elephant-bird-rcfile-4.7.jar';
REGISTER '/user/ameya/libs/libs/elephant-bird-core-4.7.jar';
REGISTER '/user/ameya/libs/libs/elephant-bird-hadoop-compat-4.7.jar';
REGISTER '/user/ameya/libs/libs/hive-0.4.1.jar';
REGISTER '/user/ameya/libs/libs/libs/hive-serde-0.13.3.jar';

SET output.compression.enabled true;
SET output.compression.codec org.apache.hadoop.io.compress.GzipCodec;

thrift = LOAD '$input' USING com.twitter.elephantbird.pig.load.RCFileThriftPigLoader('com.xxx.yyy.thrift.dto.LatLong');

final = FOREACH thrift GENERATE (requestLatLong is not null ? requestLatLong.latitude : null) AS req_ll_lat,
            (requestLatLong is not null ? requestLatLong.longitude : null) AS req_ll_lng;

STORE final INTO '$output';

我正在使用 libthrift-0.8.0.jar，其中类 TProtocol.java 确实定义了 getScheme() 方法(具有公共(public)访问权限)。有趣的是，并不是所有的映射器都失败了，只是其中的一些；但这导致我的工作失败。这可能是 CLASSPATH 问题吗？

我尝试搜索此问题，但找不到相关答案。有人可以帮我找到解决这个问题的线索吗？

Answer 1

找到原因了。 “org.apache.thrift.protocol.TProtocol”类在两个 jar 中定义，即 libthrift-0.8.0.jar 和 hive-0.4.1.jar。 hive-0.4.1.jar 中的那个没有定义方法 getScheme()。当它首先在类路径中找到 hive-0.4.1.jar 时，映射器无法找到方法 getScheme()。

我不确定为什么所有映射器的行为都不一致。任何对此进行解释的评论都会有所帮助。

我用 hive-exec-0.13.3.jar 替换了 hive-0.4.1.jar，问题得到解决。