gpt4 book ai didi

sorting - 在具有 "X"个映射器和 "Y"个缩减器的大型 MapReduce 作业中,排序/洗牌阶段将有多少个不同的复制操作

转载 作者:可可西里 更新时间:2023-11-01 16:50:49 24 4
gpt4 key购买 nike

据我了解会有X+Y个复制操作,不对请指正

谢谢

最佳答案

在最坏的情况下,每个 reducer 可能会从所有映射器中获取记录,假设它的键在所有可用的映射器中都存在。在最坏的情况下,这将为一个 reducer 提供 X 个副本。这将导致 XY 操作而不是 X+Y。

关于sorting - 在具有 "X"个映射器和 "Y"个缩减器的大型 MapReduce 作业中,排序/洗牌阶段将有多少个不同的复制操作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33418388/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com