hadoop - 无法使用 YARN 运行 MapReduce 作业

Question

我正在迈出掌握 Hadoop 的第一步。我已经在分布式模式下设置了 CDH4.5(在两个虚拟机上)。我在使用 YARN 运行 MapReduce 作业时遇到问题。我可以成功启动 DistributedShell 应用程序(来自 CDH 示例)，但是一旦我运行 MapReduce 作业，它就会永远卡在那里。

这就是我要发布的内容:

sudo -uhdfs yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 1 1

这些是资源管理器的最后一行日志:

13/12/10 23:30:02 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1386714123362_0001
13/12/10 23:30:02 INFO client.YarnClientImpl: Submitted application application_1386714123362_0001 to ResourceManager at master/192.168.122.175:8032
13/12/10 23:30:02 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1386714123362_0001/
13/12/10 23:30:02 INFO mapreduce.Job: Running job: job_1386714123362_0001

一旦我运行作业，节点管理器的日志就不会收到任何新消息。

这是我在资源管理器的网页上看到的关于工作的内容:

State - ACCEPTED
FinalStatus - UNDEFINED
Progress - (progress bar in 0%) 
Tracking UI - UNASSIGNED

Apps Submitted - 1
Apps Pending - 1 
Apps Running - 0

Answer 1

我在 http://hadoop.apache.org/docs/r2.0.6-alpha/hadoop-project-dist/hadoop-common/releasenotes.html 找到了这个:

YARN-300。由 shenhong 报告并由 Sandy Ryza(资源管理器，调度程序)修复的主要错误在 YARN-271 之后，公平调度器可以无限循环并且不调度任何应用程序。yarn-271之后，当yarn.scheduler.fair.max.assign<=0时，当一个节点被预留时，fairScheduler会死循环，不调度任何应用。

尝试使用新版本，即上面的 2.0