hadoop - map 输出记录的数量少于 hadoop 中的组合输入记录

Question

当我运行 mapreduce 时，我得到的组合输入记录大于映射输出记录？这真是奇怪。我不知道到底发生了什么？据我所知， map 输出记录应该与输入记录完全相同。谁能帮我解决问题。提前致谢。

这是一个真实世界的工作示例:

    Map-Reduce Framework
      Map input records=112705844
      Map output records=64841776
      Combine input records=64842079
      Combine output records=409
      Reduce input records=106
      Reduce output records=4

Answer 1

显然，组合器的应用行为从 Hadoop 0.18 开始发生了变化。在每个 map task 只调用一次组合器之前。现在它可以在 map 和 reduce 端被调用 0 次或多次。这表明组合器输入/输出记录的计数不必与 map/reduce 输入/输出计数完全匹配。