java - 获取hadoop中已退休工作的详细信息

Question

我需要使用Java在hadoop作业跟踪器中获取以下退休工作的详细信息。

工作编号

用户

(工作名称)

状态

开始时间

完成时间。

持续时间

基本上，以上大部分内容都通过 jobtracker.jsp URL显示。

我需要捕获它们以进行审计。

请让我知道如何访问以上字段。

代码示例将非常有帮助

使用下面提到的代码，我只能获得Completed Jobs详细信息，示例代码片段:

JobClient client = new JobClient(getConf());    
for (JobStatus job : client.getAllJobs()) {    
    if (job.isJobComplete()) {    
        Stirng jobName = job.getJobName();    
        int jobStatus = job.getJobStatus();    
        // .. you get the idea    
    }    
}   

需要帮忙!!

感谢ins提前!!!!

Answer 1

我想你需要签到

在工作记录中

键: hadoop.job.history.location

键(H21): mapreduce.jobtracker.jobhistory.location

默认值:文件:/// $ {hadoop.log.dir} / history

保留时间:最高30天(请参阅下面的常规作业文件注释)

注意:此项的值被视为URI，换句话说，您可以将作业文件存储在HDFS或本地文件系统中(默认设置)。

欲了解更多信息

http://blog.cloudera.com/blog/2010/11/hadoop-log-location-and-retention/