gpt4 book ai didi

hadoop - Hadoop Reducer数量

转载 作者:行者123 更新时间:2023-12-02 21:49:44 26 4
gpt4 key购买 nike

我正在使用Hadoop,但是当我开始工作时,将根据输入数量(当然是所需的操作)生成映射器,但是Hadoop只会生成1个reducer,而与输入无关。尽管有一个有效的输入分割,但我不知道为什么Hadoop仅为任务生成1个reducer。

在执行更多 reducer 之前,有人可以给我提示为什么会这样吗?

最佳答案

检查作业的配置(某些XML conf文件或驱动程序中的某些内容)是否包含该属性

mapred.reduce.tasks=1

某些示例作业默认情况下已配置了此功能。

关于hadoop - Hadoop Reducer数量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22116576/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com