Hadoop MapReduce : Clarification on number of reducers

Question

在 MapReduce 框架中，一个 reducer 用于映射器生成的每个键。

因此您会认为在 Hadoop MapReduce 中指定 Reducers 的数量没有任何意义，因为它取决于程序。但是，Hadoop 允许您指定要使用的 reducer 的数量(-D mapred.reduce.tasks=# of reducers)。

这是什么意思？ reducer 数量的参数值是否指定有多少机器资源进入 reducer，而不是实际使用的 reducer 的数量？

Answer 1

one reducer is used for each key generated by the mapper

此评论不正确。对由分组比较器分组的每个键调用一次 reduce() 方法。 reducer(任务)是处理零次或多次 reduce() 调用的进程。您所指的属性是关于 reducer 任务的数量。