hadoop - 映射阶段的进度(LATE 调度程序)- Hadoop

Question

我想找出 map task 的进度。如果有人可以帮助我，那就太好了!谢谢!!

Answer 1

我们可以通过两种方式监控作业中 Map 和 Reduce 的进度。

首先是网络界面。

http://pdhadoop1:50030 其中 pdhadoop1 是您的名称节点机器。

另一种方式是从作业驱动程序内部，可以输出到控制台(或其他地方)作业提交后，我们进入 while 循环并检查 job.isComplete()。在循环中我们做

System.out.println(String.format("Progress of Page views ETL Job %s:", job.getJobID().toString()));
System.out.println(String.format("\tMap : %f, Reduce %F", job.mapProgress(), job.reduceProgress()));

然后我们 Thread.sleep(60000) 循环继续直到作业完成。

通过这两者，我能够观察 map 的进度并减少作业的组成部分。

Web 界面允许查看日志和其他有用信息。计数器、记录、字节……一个非常好的功能。

希望对您有所帮助。 :)

编辑:此维基页面 http://wiki.apache.org/hadoop/WebApp_URLs列出了这些 URL

工作跟踪器可以在 http://localhost:50030 找到
任务跟踪器可以在 http://localhost:50060 找到
NameNode/文件系统/日志浏览器可以在 http://localhost:50070 找到
SecondaryNameNode 可以在 http://localhost:50090 找到

我认为本地主机取决于您要查看的 URL。我没有全部玩过，我一般只用50030和50070；这两个我都指向我的名称节点。