hadoop - 为每个映射器输出准确运行组合器的时间

Question

当确切地运行合并器时，尽管您在驱动程序代码中提到了合并器类，但仍然需要Hadoop来决定是否应在每个映射器输出上运行它。您能否解释hadoop决定此组合器作业执行的依据(是否有任何重击规则，方程式或公式)。

Answer 1

组合器在映射器之后和 reducer 之前运行。它针对每个映射器输出运行。可以将其视为映射器的一部分，因此 reducer 的输入实际上是组合器的输出。每个映射器可能包含许多映射任务，所以这可能会让您感到困惑。它充当“微型归约器”，这意味着它将所有具有相同键的值(映射器的输出)分组，但仅针对已从映射器输出的数据，而不是针对所有数据，与之不同 reducer 。

有关更多详细信息，请参见此Yahoo Tutorial。