hadoop - map-reduce 中不同组件/ Action 的执行顺序

Question

map-reduce 中 Action /组件的执行顺序是什么 -Mapper --> Combiner --> Shuffling/Sorting --> Partitioner --> Reducer

顺序一样吗？​​？

Answer 1

这个过程几乎是正确的，但让我们深入了解它。
第一个 Map 阶段将从运行 map 开始。
一旦 map 处理了输入，它会在保存到本地文件系统之前进行排序，
这被称为 sort 然后 copy 到本地文件系统，接下来这个数据将被复制到 reducer 这是 shuffle阶段。
由于数据已经在每个 mapper 输出中排序，它根据每个到达 reducer 所在节点的键执行合并排序。
merge完成后，数据就可以进入reduce阶段了。这取决于您选择的手动配置。
我们也可以将 reducer 的数量设置为零。在这种情况下，map 的所有输出都将直接写入本地文件系统或 hdfs 的输出路径。

希望对您有所帮助!