hadoop - 仅当所有映射器完成时才减少工作？

Question

美好的一天...我有一点困惑; reduce task 和减少工作有什么区别？这是我的情况；我读到在所有映射完成之前 reduce 不会开始......但在 hadoop 输出中我看到的不是这样:

12/02/11 10:58:50 INFO mapred.JobClient: map 60% reduce 16%
12/02/11 10:58:54 INFO mapred.JobClient: map 60% reduce 20%
12/02/11 10:58:55 INFO mapred.JobClient: map 65% reduce 20%

减少了 16% 而 map 仍然是 60%...这里到底发生了什么？

Answer 1

“reduce phase”分为三个阶段:shuffle、sort、reduce。洗牌复制数据，排序将键组合在一起。 reduce 是您编写的实际 reduce 函数。

百分比的工作方式是 shuffle 为 33%，sort 为 33%，reduce 为 33%。您看到的是“大约 16%/33%(即 48%)的数据已被复制到 reducers”。在所有映射器完成之前，最后 33% 的“reduce”无法开始。