hadoop - 在 Hadoop 中，如何找到哪个从节点正在执行 N 次尝试？

Question

我正在使用 Hadoop 1.2.1，但我的 hadoop 应用程序无法执行 Reduce。从 Hadoop 运行中，我看到如下消息:

15/05/22 18:14:15 INFO mapred.JobClient:  map 0% reduce 0% 15/05/22
18:14:25 INFO mapred.JobClient:  map 100% reduce 0% 15/05/22 18:24:25
INFO mapred.JobClient:  map 0% reduce 0% 15/05/22 18:24:26 INFO
mapred.JobClient: Task Id : attempt_201505221804_0013_m_000000_0,
Status : FAILED Task attempt_201505221804_0013_m_000000_0 failed to
report status for 600 seconds. Killing! 15/05/22 18:24:35 INFO
mapred.JobClient:  map 100% reduce 0%

我想看看attempt_201505221804_0013_m_000000_0的日志，但是要找到哪个slave执行了attempt_201505221804_0013_m_000000_0太费时了。

有人告诉我使用 Hadoop 网页找到它，但这个集群上有一些防火墙，我无法更改选项，因为集群根本不属于我们集团。

有什么方法可以找到执行此尝试的位置吗？

Answer 1

您应该能够在默认情况下位于 HADOOP_HOME/logs 下的 jobtracker 日志中找到此信息。这将包含类似于此的条目:

INFO org.apache.hadoop.mapred.JobTracker:添加任务 (MAP) 'attempt_201503262103_0001_m_000000_0' 以提示 task_201503262103_0001_m_000000，用于跟踪器 'host'

您可以在文件中搜索特定的尝试 ID。