hadoop - EMR - 从 S3 运行 Pig 脚本时出现问题

Question

我尝试在 EMR 上运行 Pig 脚本，例如:

pig -f s3://bucket-name/loadData.pig

但它失败并出现错误:

错误 2999:意外的内部错误。空

java.lang.NullPointerException异常 在 org.apache.pig.impl.io.FileLocalizer.fetchFilesInternal(FileLocalizer.java:778) 在 org.apache.pig.impl.io.FileLocalizer.fetchFiles(FileLocalizer.java:746) 在 org.apache.pig.PigServer.registerJar(PigServer.java:458) 在 org.apache.pig.tools.grunt.GruntParser.processRegister(GruntParser.java:433) 在 org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:445) 在 org.apache.pig.tools.grunt.GruntParser.parseStopOnError (GruntParser.java:194) 在 org.apache.pig.tools.grunt.GruntParser.parseStopOnError (GruntParser.java:170) 在 org.apache.pig.tools.grunt.Grunt.exec(Grunt.java:84) 在 org.apache.pig.Main.run(Main.java:479) 在 org.apache.pig.Main.main(Main.java:159) 在 sun.reflect.NativeMethodAccessorImpl.invoke0( native 方法) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 org.apache.hadoop.util.RunJar.main(RunJar.java:187)

loadData.pig 看起来像:

A = load '/ajasing/input/input.txt' USING PigStorage('\t', '-noschema');
store A into '/ajasing/output1444/input1444.txt';

我正在运行 Pig 版本 0.11.1、hadoop 版本 1.0.3 和 AMI 版本 2.4.6。

如果我在本地执行这个 pig，即通过在 EMR 集群上本地复制 pig 脚本，它工作正常。但是，如果 pig 脚本源是 s3，它会失败并出现上述错误。

请让我知道这里有什么问题。

Answer 1

您是否正在加载任何 .jar 文件？我刚刚遇到了通过更改解决的确切问题

REGISTER /home/hadoop/mongo-java-driver-2.11.1.jar;

到

REGISTER file:/home/hadoop/mongo-java-driver-2.11.1.jar;

关注这篇文章: https://forums.aws.amazon.com/thread.jspa?messageID=480997

非常有效!