java - Map阶段和Reduce阶段进度如何计算

Question

我想知道在 Hadoop MapReduce 中运行作业时，map-stage 和 reduce stage-progress 是如何计算的。

我进入 JobClient.java 寻找线索，我认为 JobStatus.java 存储了所有这些信息，但我找不到百分比是如何计算/更新的。

Answer 1

来自 org.apache.hadoop.mapred.JobInProgress#updateTaskStatus:

 double progressDelta = tip.getProgress() - oldProgress;
 if (tip.isMapTask()) {
    this.status.setMapProgress((float) (this.status.mapProgress() + 
                                progressDelta / maps.length));
 } else {
  this.status.setReduceProgress((float) (this.status.reduceProgress() + 
                              (progressDelta / reduces.length)));
 }

基本上，它是所有任务的平均进度。