gpt4 book ai didi

hadoop - 在 MapReduce 中有更多的 reducer 有什么优点和缺点?

转载 作者:可可西里 更新时间:2023-11-01 15:09:56 25 4
gpt4 key购买 nike

MapReduce 编程都是关于并行处理的,这就是为什么我们在许多情况下从单个 reducer 开始。在 MapReduce 中使用更多的 reducer 有什么优点和缺点?

最佳答案

一个 reducer 可能在一个或多个分区上工作,因此它限制了并行化,因为它只有一个。

太多的 reducer 会导致创建太多 HDFS(输出)文件,这不好,并且会给 HDFS 带来压力,因为需要完成内务处理。

关于hadoop - 在 MapReduce 中有更多的 reducer 有什么优点和缺点?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46234461/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com