hadoop - mapreduce中的单个reducer是否需要分区？

Question

我刚刚开始学习hadoop。我了解到，Partitioner决定应将鞭状键值对发送给哪个缩减器。我的问题是，如果只有一个 reducer ，就需要分区器吗？

我在stackover流本身中看到了类似的问题，但是我仍然无法理解答案。

Answer 1

是的，当有多个化简器时，通过计算mapout键或在自定义分区键中定义的默认哈希函数，分区器会将映射输出的键值对重定向到特定的化简器。如果只有一个化简器，尽管存在Partitioner，所有键值都将转移到同一个化简器中。默认的分区程序始终存在于mapreducer流中。