gpt4 book ai didi

hadoop - 单节点上的 MapReduce 执行顺序

转载 作者:可可西里 更新时间:2023-11-01 16:57:01 28 4
gpt4 key购买 nike

我正在学习 Hadoop。
我在单个节点上运行 Hadoop。
据我所知,Reducer 在 Mapper 完成后运行(这也是有道理的)。
但是当我在 200MB 文件上运行 MapReduce 作业时,Reducer 在 Mapper 完成之前启动。我没有使用任何组合器。
谁能解释一下为什么?

enter image description here

enter image description here

最佳答案

reduce 阶段涉及将映射器的数据输出复制并合并到 reducer。

由于复制和合并中间输出不需要障碍(您不需要等待所有映射器完成),这就是映射器运行时缩减器正在做的事情。

关于hadoop - 单节点上的 MapReduce 执行顺序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28650083/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com