gpt4 book ai didi

hadoop - 为什么 Hadoop yarn(2.7.1) 中的平均合并时间为零?以及如何获得这个时间的精确度

转载 作者:可可西里 更新时间:2023-11-01 16:08:31 25 4
gpt4 key购买 nike

我对 Hadoop yarn 2.7.1 中的平均合并时间有疑问
我在具有 7 个节点的集群上运行了一个 wordcount 示例,其中包含一个 txt 文件 (1.5GB)
正如您在下图中看到的那样,一个作业有 12 个 map 任务和一个 reduce 任务什么平均合并时间为零?这是否意味着 12 个 map 输出的排序或合并为零?
screenshot

请指导我

最佳答案

没有,

平均合并时间为 avg(sortFinishTime-shuffleFinishTime)

Reducer 在 shuffle 期间接收来自多个映射器的输入。收到输入后,这些输入将附加到 reducer(本地)的单个文件中并进行排序。排序后,reduce 阶段开始。

平均合并时间是洗牌阶段之后和减少阶段开始之前所用时间的平均值。

关于hadoop - 为什么 Hadoop yarn(2.7.1) 中的平均合并时间为零?以及如何获得这个时间的精确度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33712775/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com