java - Map Reduce 作业从 Windows 提交到 Linux 时失败(Cent OS)

Question

从 Windows 向 Linux 提交 map-reduce 作业时出现以下错误。

容器 ID:container_1422288303092_0045_02_000001

Exit code: 1
Stack trace: ExitCodeException exitCode=1: 
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
        at org.apache.hadoop.util.Shell.run(Shell.java:455)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
        at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:196)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)

• 同样的工作在 Linux 和 Linux 之间运行良好。
• 我查看了其他几个关于此问题的 stackoverflow 帖子，例如 Related Post并按照说明进行操作，但没有帮助
• 我正在使用 Cloudera hadoop 2.5 版库
• 我还没有实际应用 patch 中提到的补丁因为我想它现在应该已经是发行版的一部分了
• 我在客户端 mapred-site.xml 中设置了以下属性:

   <property>
        <name>mapreduce.app-submission.cross-platform</name>
        <value>true</value>
    </property>
    <property>
        <name>mapreduce.remote.os</name>
        <value>Linux</value>
        <description>Remote MapReduce framework's OS, can be either Linux or Windows</description>
    </property>

Answer 1

CDH 2.5.1 不同于 Apache Hadoop 2.5.1CDH现在是5.X系列，支持Apache Hadoop 2.5.0

如果您使用的是 Apache Hadoop 2.5.1，则应该使用 Apache 的 jars。但是，如果您确实在使用 CDH 2.5.1，则应该使用 CDH 2.5.1 jar，并且还必须应用补丁。