gpt4 book ai didi

hadoop - 确定 Hadoop 中的 Reduce 数量

转载 作者:可可西里 更新时间:2023-11-01 16:52:59 26 4
gpt4 key购买 nike

在 Hadoop 中,map 的数量由输入拆分的数量决定。减少的数量呢?有没有一种方法可以直观的判断reduce?我正在 Pig 中进行 map 缩减。

最佳答案

理想的 reducer 应该是使它们最接近于:

block 大小的倍数任务时间在 5 到 15 分钟之间创建尽可能少的文件引用:http://wiki.apache.org/hadoop/HowManyMapsAndReduces

关于hadoop - 确定 Hadoop 中的 Reduce 数量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31166036/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com