hadoop - 提交 Hadoop 作业

Question

我需要不断获取映射器和缩减器的运行时间。我已经提交了如下作业。

 JobClient jobclient = new JobClient(conf);
 RunningJob runjob = jobclient.submitJob(conf);          


 TaskReport [] maps = jobclient.getMapTaskReports(runjob.getID());

 long mapDuration = 0;
 for(TaskReport rpt: maps){
    mapDuration += rpt.getFinishTime() - rpt.getStartTime();
 }

但是，当我运行该程序时，作业似乎没有提交并且映射器从未启动。我怎样才能使用 JobClient.runJob(conf) 并且仍然能够获得运行时间？

Answer 1

submitJob() 方法立即将控制权返回给调用程序，无需等待 hadoop 作业启动，更不用说完成了。如果您想等待，请使用 waitForCompletion() 方法，该方法仅在 hadoop 作业完成后返回。我认为你想要介于两者之间的东西，因为你想在提交之后但在完成之前运行后续代码。

我建议您将后续代码放在一个循环中，一直持续到作业完成(使用 isComplete() 方法进行该测试)并在作业进行时观察映射器和缩减器.您可能还想在某个地方的循环中放置一个 Thread.sleep(xxx)。

要回复您的评论，您需要...

job.waitForCompletion();
TaskCompletionEvent event[] = job.getTaskCompletionEvents();
for (int i = 0; i < event.length(); i++) {
    System.out.println("Task "+i+" took "+event[i].getTaskRunTime()+" ms");
}