gpt4 book ai didi

hadoop - 限制Hadoop 2.6.0中的并发映射任务数

转载 作者:行者123 更新时间:2023-12-02 21:17:59 33 4
gpt4 key购买 nike

我想限制在一个从属节点上运行的同时映射任务的数量。

以我为例,当我提交作业时,Hadoop生成了8个映射任务,当我查看端口19888处的Job history UI时,我总是看到8个映射任务同时在同一从属节点上启动。

即使我尝试将此属性mapreduce.tasktracker.map.tasks.maximum设置为等于4(来自how to restrict the concurrent running map tasks?)。它仍然对我不起作用。

有人有实验来解决这个问题吗?

最佳答案

对于hadoop 2.6,应该是较新的API-see this mapred-default.xml

mapreduce.tasktracker.map.tasks.maximum设置为4

The maximum number of map tasks that will be run simultaneously by a task tracker.

关于hadoop - 限制Hadoop 2.6.0中的并发映射任务数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38249244/

33 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com