hadoop - Wordcount程序卡在hadoop-2.3.0

Question

我安装了 hadoop-2.3.0 并尝试运行 wordcount 示例但它开始工作并闲置

hadoop@ubuntu:~$ $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar    wordcount /myprg outputfile1
14/04/30 13:20:40 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
14/04/30 13:20:51 INFO input.FileInputFormat: Total input paths to process : 1
14/04/30 13:20:53 INFO mapreduce.JobSubmitter: number of splits:1
14/04/30 13:21:02 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1398885280814_0004
14/04/30 13:21:07 INFO impl.YarnClientImpl: Submitted application application_1398885280814_0004
14/04/30 13:21:09 INFO mapreduce.Job: The url to track the job: http://ubuntu:8088/proxy/application_1398885280814_0004/
14/04/30 13:21:09 INFO mapreduce.Job: Running job: job_1398885280814_0004

追踪任务的url:application_1398885280814_0004/

对于以前的版本，我没有遇到这样的问题。我能够在以前的版本中运行 hadoop wordcount。我关注了these steps用于安装 hadoop-2.3.0

请提出建议。

Answer 1

不久前我在切换到 YARN 时遇到了完全相同的情况。基本上，MRv1 中有 task slots 的概念，MRv2 中有 container 的概念。这两者在节点上任务的调度和运行方式上有很大不同。

您的作业卡住的原因是它无法找到/启动一个容器。如果您查看 Resource Manager/Application Master 等守护进程的完整日志，您可能会发现它在开始分配新容器后什么也没做。

要解决此问题，您必须调整 yarn-site.xml 和 mapred-site.xml 中的内存设置。在我自己做同样的事情时，我发现了 this和 this教程特别有帮助。我建议您尝试使用非常基本的内存设置，然后再对其进行优化。首先检查一个字数统计示例，然后继续检查其他复杂的示例。