gpt4 book ai didi

hadoop - 限制每个用户的并发 reducer 数量

转载 作者:可可西里 更新时间:2023-11-01 15:41:52 25 4
gpt4 key购买 nike

有没有办法限制 hadoop 中每个用户的并发 reduce 槽数?我们希望确保任何时候都没有单个用户用完所有可用的 reduce 插槽。

最佳答案

这可以使用 FairScheduler in the current version of Hadoop .您可以为每个用户分配一个池,然后设置 maxReduces。但是,此选项在 FairScheduler with 0.20.203 中不可用。 .此版本方便地具有 minReduces 而没有 maxReduces

关于hadoop - 限制每个用户的并发 reducer 数量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8159512/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com