gpt4 book ai didi

hadoop - 如何在 Hadoop 流中设置每个节点的最大 reducer 数量?

转载 作者:可可西里 更新时间:2023-11-01 15:41:32 25 4
gpt4 key购买 nike

我有一个基于 C++ 的 MapReduce 作业,我正在使用 Hadoop 流。

然而,即使我在命令行配置中将它们设置为 18 作为 mapred.tasktracker.reduce,每个节点的最大 reducer 数量最终还是 7 .tasks.maximum=18 ;

还有什么可以阻止 reducer 发出更多的 reduce 任务吗?

最佳答案

修改 mapred.tasktracker.reduce.tasks.maximum 属性后,您是否重新启动集群中的任务跟踪器?您应该能够转到 Job Tracker web ui 页面并确认每个任务跟踪器现在配置了 18 个 reducer 插槽

关于hadoop - 如何在 Hadoop 流中设置每个节点的最大 reducer 数量?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10064537/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com