hadoop - Hadoop JobHistoryServer不保存特定的作业

Question

我有一簇装有Hadoop的PC。该服务运行良好，我执行了很多工作而没有出现问题。出于研究目的，我将作业日志发送到JobHistoryServer服务。

对于一项工作，历史记录服务未保存统计信息。如果我执行其他具有相同配置的Job，则将保存统计信息。但是我重新运行了该作业，并且History Server不保存统计信息。

历史记录服务器日志(文件mapred-hduser-historyserver-master.log):

2017-05-13 11:28:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files
2017-05-13 11:31:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files
2017-05-13 11:34:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files
2017-05-13 11:37:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files
2017-05-13 11:40:59,634 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Starting scan to move intermediate done files

我的问题是:如何开始调试正在发生的事情？

更多数据:

History Server的Java堆空间没有问题(搜索时会看到很多)

工作服务器和主服务器具有足够的磁盘空间。

HDFS空间也可以。

Answer 1

好吧，终于我找到了问题。其中一名 worker 的日期未更新。我设置了正确的日期，History Server正确保存了作业的日志。