gpt4 book ai didi

hadoop - MapReduce随机/排序方法

转载 作者:行者123 更新时间:2023-12-02 21:37:03 25 4
gpt4 key购买 nike

有点奇怪的问题,但是没有人知道MapReduce在随机播放/排序的排序部分中使用哪种排序吗?我会考虑合并或插入(与整个MapReduce范例保持一致),但我不确定。

最佳答案

它是Quicksort,然后将排序的中间输出合并在一起。
Quicksort检查递归深度,并在深度太深时放弃。在这种情况下,将使用Heapsort。

看一下Quicksort类:

org.apache.hadoop.util.QuickSort

您可以通过 hadoop-default.xml中的map.sort.class值更改使用的算法。

关于hadoop - MapReduce随机/排序方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31469783/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com