gpt4 book ai didi

hadoop - hadoop:限制并发映射数/减少每个作业的任务

转载 作者:行者123 更新时间:2023-12-02 21:48:22 25 4
gpt4 key购买 nike

我想将研究工作提交到生产集群中。由于我不需要这项工作快速完成,也不想延迟生产工作,因此我想限制在任何给定时间为该工作执行的任务数量。我可以在Hadoop 2中做到吗?

最佳答案

为了限制Hadoop mapreduce资源(map / reduce插槽),可以使用公平调度程序。您可以通过设置所需的最大映射器和最大缩减器数量来更好地创建新的Fairscheduler池,并且可以将作业提交到新创建的Fairscheduler池。

关于hadoop - hadoop:限制并发映射数/减少每个作业的任务,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23268055/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com