hadoop - hadoop reducer 在每个节点中是顺序执行键还是并行执行键？

Question

刚开始接触hadoop，有几个关于reducer执行的问题。

当键值对分配给一个reducer任务时。它是顺序处理还是并行处理。

例如 (A,5) (A,3) (B,10) 用于 reducer 任务。 A,B是否并联进入reducer？

Answer 1

当使用一个reducer时，KV对不是并行处理，而是按排序顺序处理。在上面的示例中，这些对将从一个或多个映射器任务(如果多个映射器并行)发送到单个 reduce 任务。在将这些值传递给您的 reducer 类之前，它们会被聚合((A,5) 和 (A,3) 变成 (A,{5,3}))，然后在 reducer 任务实际运行用户代码之前进行排序“减少”输入集。