hadoop - 为什么有时mapreduce Average Reduce Time 是负数？

Question

我在 hadoop 集群上运行 mapreduce 作业。我在浏览器中看到的job运行时间master:8088和master:19888(job history server web UI)如下:

主人:8088

大师:19888

我有两个问题:

1. 为什么两张图片的耗时不同？
2. 为什么有时平均减少时间是负数？

Answer 1

看起来 Average Reduce Time 是基于之前任务(洗牌/合并)完成所花费的时间，而不一定是 reduce 实际运行所花费的时间。

看着这个source code您可以看到在第 300 行附近发生的相关计算。

if (attempt.getState() == TaskAttemptState.SUCCEEDED) {
  numReduces++;
  avgShuffleTime += (attempt.getShuffleFinishTime() - attempt.getLaunchTime());
  avgMergeTime += attempt.getSortFinishTime() - attempt.getShuffleFinishTime();
  avgReduceTime += (attempt.getFinishTime() - attempt.getSortFinishTime());
}

其次是:

if (numReduces > 0) {
  avgReduceTime = avgReduceTime / numReduces;
  avgShuffleTime = avgShuffleTime / numReduces;
  avgMergeTime = avgMergeTime / numReduces;
}

看看你的数字，它们似乎与这种计算运行时间的方法大体一致(所有内容都转换为秒):

总的 Pre-reduce 时间 = Map Run Time + Ave Shuffle + Ave Merge
143 = 43 + 83 + 17

平均减少时间 = 耗时 - 总预减少
-10 = 133 - 143

所以看看 Map、Shuffle 和 Merge 与 Elapsed 相比我们最终花费了多长时间在您的 -8 附近有一个负数。