hadoop - 仅在 mapreduce 模式下出现 Pig 0.13 错误

Question

我将 cloudera CDH5 与 Pig 0.13(也尝试过 Pig 0.12.1)一起使用，并且正在构建自己的自定义 loadFunc，并且我有一个简单的脚本，它只使用新的 loadFunc 进行加载。

在 local 模式下运行时一切正常，输出正确。

但是当以 mapreduce 模式运行时(仍在本地)，我得到错误:

Unable to open iterator for alias output_hash
    at org.apache.pig.PigServer.openIterator(PigServer.java:880)
    at org.apache.pig.tools.grunt.GruntParser.processDump(GruntParser.java:774)
    at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:372)
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:198)
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:173)
    at org.apache.pig.tools.grunt.Grunt.exec(Grunt.java:84)
    at org.apache.pig.Main.run(Main.java:478)
    at org.apache.pig.Main.main(Main.java:156)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.io.IOException: Job terminated with anomalous status FAILED
    at org.apache.pig.PigServer.openIterator(PigServer.java:872)
    ... 12 more

我尝试将属性 verbose 设置为 true 或将 traces 设置为 debug，但没有得到有用的信息。

关于如何解决或调试此问题的任何见解？

Answer 1

找到解决方案。问题是我正在使用 maven 来构建项目并且我正在构建具有依赖项的 jar。这导致具有相同类路径的类名的依赖项相互覆盖(例如 hadoop-hdfs 和 hadoop-common 的 FileSystem.java，解决方案只是构建 jar 而不包含依赖项。