gpt4 book ai didi

hadoop - 如何限制映射器的数量

转载 作者:可可西里 更新时间:2023-11-01 14:25:05 25 4
gpt4 key购买 nike

我使用 conf.setNumMapTasks() 在我的 java 程序中明确指定了映射器的数量,但是当作业结束时,计数器显示启动的映射任务的数量超过了指定值.如何限制mapper个数为指定值?

最佳答案

根据 Hadoop API Jonf.setNumMapTasks只是对 Hadoop 运行时的提示。 map任务的总数等于输入数据中待处理的 block 数。

尽管如此,应该可以使用 mapred.tasktracker.map.tasks.maximummapred.tasktracker.reduce 配置每个节点的 map/reduce 槽数。 mapred-site.xml 中的 tasks.maximum。这样就可以配置在整个集群中并行执行的映射器/缩减器的总数。

关于hadoop - 如何限制映射器的数量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19570486/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com