macos - 使用 hadoop-0.19.1 在我的 osx 上运行示例应用程序时出现 java.io.IOException : Job failed!

Question

bash-3.2$ echo $JAVA_HOME/System/Library/Frameworks/JavaVM.framework/Versions/1.6/Homebash-3.2$ bin/hadoop dfs -copyFromLocal conf /user/yokkom/input2bash-3.2$ bin/hadoop jar hadoop-*-examples.jar grep input2 output 'dfs[a-z.]+'09/04/17 10:09:32 INFO mapred.FileInputFormat: Total input paths to process : 1009/04/17 10:09:33 INFO mapred.JobClient: Running job: job_200904171309_0001java.io.IOException: Job failed!        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1232)        at org.apache.hadoop.examples.Grep.run(Grep.java:69)        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)        at org.apache.hadoop.examples.Grep.main(Grep.java:93)        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)        at java.lang.reflect.Method.invoke(Method.java:597)        at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)        at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:141)        at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:61)        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)        at java.lang.reflect.Method.invoke(Method.java:597)        at org.apache.hadoop.util.RunJar.main(RunJar.java:165)        at org.apache.hadoop.mapred.JobShell.run(JobShell.java:54)        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)        at org.apache.hadoop.mapred.JobShell.main(JobShell.java:68)

有人知道为什么会这样吗？同样的工作在 linux 机器上运行得非常好。并且，在“Job failed”发生后，整个 Hadoop 集群停止响应。

我的 MacOS 版本是 10.5.6。

编辑 hadoop-0.20.1 的相同结果

Answer 1

我在谷歌上搜索过，同样的错误(在完全相同的行)之前发生过。了解一下 here和 here .

第二个链接建议如下:

• 删除 conf/log4j.properties 以查看详细报告
• 尝试增加堆内存(使用 -Xms 和 -Xmx 开关)