python - hadoop:跟踪MapReduce任务

Question

我是hadoop的新手，这可能是一个愚蠢的问题，但是我已经寻找了好几个小时，却找不到如何做。

我正在使用具有不同数量的映射器和精简器的Hadoop MapReduce运行，以查看性能差异(例如执行时间)。我想检查是否使用了指定数量的映射器/缩小器，但是我不知道该怎么做。

Hadoop 1.2.1安装在具有超线程功能的四核计算机上，我正向服务器发送数据，并且Hadoop以伪分布式模式运行。

我的MapReduce程序是用Python编写的，因此我正在使用hadoop流技术，这就是我运行MR程序的方式。

$ hadoop jar /Users/hadoop/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar 
-file /Users/hadoop/map.py 
-mapper /Users/hadoop/map.py 
-file /Users/hadoop/reduce.py 
-reducer /Users/hadoop/reduce.py 
-input file:///Users/hadoop/inputfile 
-output file:///Users/hadoop/outputfile

我想查看看起来像 this的日志信息，或提供此类信息的任何内容。

Answer 1

您正在寻找一种称为“资源管理器”的服务-该Web界面包含指向日志的链接，例如您在问题中链接到的日志。 This stackoverflow post对于如何达到它有一些答案。给定您的hadoop版本，在运行hadoop的计算机上，您应该能够访问localhost:50030来查看资源管理器。