java - 获取 hadoop 中已完成和退役作业的详细信息

Question

我需要从 hadoop 作业跟踪器中已完成和退役的作业中获取以下详细信息。

职位编号

用户

(职位)名称

状态

完成时间。

基本上上面的大部分都是通过 jobtracker.jsp URL 显示的。

我需要捕获它们以进行审计。

请告诉我如何访问上述字段。

代码示例会非常有帮助

Answer 1

研究使用 JobClient API，特别是 getAllJobs() 调用和返回的 JobStatus 对象数组的方法。

• http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/JobClient.html#getAllJobs()

一些未经测试的代码:

JobClient client = new JobClient(getConf());
for (JobStatus job : client.getAllJobs()) {
    if (job.isJobComplete()) {
        Stirng jobName = job.getJobName();
        int jobStatus = job.getJobStatus();
        // .. you get the idea
    }
}