hadoop - 当示例在 hadoop 0.23.0 上运行时作业挂起

Question

我正在尝试在 hadoop 0.23.0 中添加容量调度程序，并尝试运行一个示例 pi、randomwriter 程序。

所有守护进程都已启动且工作正常，但作业已挂起并且不再显示任何输出。

我看不到它们累积的日志。任何人都可以让我知道这个作业挂起的原因，以及日志的存储位置。

2012-06-08 18:41:06,118 INFO  mapred.YARNRunner (YARNRunner.java:createApplicationSubmissionContext(355)) - Command to launch container for ApplicationMaster is : $JAVA_HOME/bin/java -Dlog4j.configuration=container-log4j.properties -Dyarn.app.mapreduce.container.log.dir=<LOG_DIR> -Dyarn.app.mapreduce.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Xmx1536m org.apache.hadoop.mapreduce.v2.app.MRAppMaster 1><LOG_DIR>/stdout 2><LOG_DIR>/stderr 
2012-06-08 18:41:06,251 INFO  mapred.ResourceMgrDelegate (ResourceMgrDelegate.java:submitApplication(304)) - Submitted application application_1339151256291_0003 to ResourceManager
2012-06-08 18:41:06,355 INFO  mapreduce.Job (Job.java:monitorAndPrintJob(1207)) - Running job: job_1339151256291_0003
2012-06-08 18:41:07,366 INFO  mapreduce.Job (Job.java:monitorAndPrintJob(1227)) -  map 0% reduce 0%

Answer 1

我按照 http://www.thecloudavenue.com/search?q=0.23 上的说明进行操作并在小型 3 节点集群上成功运行 Hadoop-0.23.4。

查看

中的日志文件

$HADOOP_HOME/logs

主从的任何错误的文件夹。

检查以下控制台

//master:50070/dfshealth.jsp

检查DataNode数量是否正确

//master:50070/dfsnodelist.jsp?whatNodes=LIVE

检查NodeManagers的数量是否在

中正确报告

//master:8088/cluster

还应在

中正确指定 NodeManager 的数量

//master:8088/cluster/nodes

验证是否已通过 NameNode Web 控制台创建了具有正确内容的输出文件夹

//master:50070/nn_browsedfscontent.jsp