java - hadoop框架上的排序算法

Question

我在互联网上阅读了很多链接。这里有几个链接 link1 , link2 .但我无法理解。他们到底在做什么。你能用更简单的方式解释一下这个算法吗？

然后，是的，下一个问题，我想到了一种方法。告诉我它是否正确。

算法 -

在映射器之间划分整数。

映射器 - 所有映射器都使用基本方法(任何标准排序算法，此处不使用概念)。

Reducer - 当所有映射器完成他们的任务时。创建一个节点数等于映射器数量的最小堆。使用此最小堆对整个数据进行排序。 (使用最小堆方法很容易对已排序列表的数量进行排序)。

上述算法是否正确？

Answer 1

是的，你是对的。

映射器使用快速排序和堆排序的混合排序。

reducers 只对 mappers 的排序输出进行 n 向合并。