gpt4 book ai didi

hadoop - Hadoop Src 2.7.1 的 Reduce 阶段中,哪个函数对 Map 任务的输出进行排序,排序阶段何时开始?

转载 作者:可可西里 更新时间:2023-11-01 16:30:52 27 4
gpt4 key购买 nike

在 Hadoop Src 2.7.1 的 Reduce 阶段,哪个函数对 Map 任务的输出进行排序,排序阶段何时开始?

我想知道,Hadoop中的哪个函数负责对Map输出进行排序,使用的排序算法是什么?

最佳答案

在从 Map 任务生成的中间 KV(键值)对溢出期间,使用 Quicksort 技术对 map 输出进行排序,并将其转到特定的 Reducer。

在 Reducer 端,KV 对再次使用合并排序技术进行排序并形成组。 Reducer端需要排序,因为相同的中间KV对可能来自n-no.of Map任务。

关于hadoop - Hadoop Src 2.7.1 的 Reduce 阶段中,哪个函数对 Map 任务的输出进行排序,排序阶段何时开始?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33058820/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com