hadoop - mapreduce 框架基于什么决定是否启动组合器

Question

根据定义，“Combiner 可以在 mapper 和 reducer 之间的每个键上被调用 0 次、1 次或多次。”

我想知道mapreduce框架是根据什么来决定cobiner启动多少次的。

Answer 1

只是溢出到磁盘的次数。 MapOutputBuffer 填满后进行排序，同时进行合并。

您可以使用参数 io.sort.mb、io.sort.spill.percent、io.sort 调整溢出到磁盘的数量。 record.percent - 这些也在文档(书籍和在线资源)中进行了解释。

特定组合器运行次数的示例:

0 -> no combiner was defined

1 -> a combiner was defined and the MapOutputBuffer filled up once

>1 -> a combiner was defined and the MapOutputBuffer filled up more than once

请注意，即使 MapOutputBuffer 从未完全填满，此缓冲区也必须在映射阶段结束时刷新，从而触发组合器至少运行一次(如果已定义)。