hadoop - map reduce 中的reducer 数量

Question

我在MR的驱动类中设置了3个reducer。

这意味着将创建三个分区..

但是 mapper 只发出两个唯一的键，比如 male 和 female。

在这种情况下，Reducer 和 reduce 函数将运行多少次？

Answer 1

你的问题有点含糊，但我可以对可能发生的情况提出两种解释:

1。二级还原

• Reducer 1 减少所有男性结果
• Reducer 2 减少所有女性结果
• Resucer 3 减少 Reducer 1 和 2 的输出。

2。拆分作业

• Reducer 1 减少所有男性结果
• Reducer 2 减少了女性结果的前半部分
• Reducer 3 减少了女性结果的后半部分