gpt4 book ai didi

hadoop-yarn - 带有 yarn 调度程序的 aws emr

转载 作者:行者123 更新时间:2023-12-03 07:44:31 26 4
gpt4 key购买 nike

我正在使用 cloudformation 模板创建 AWS EMR。我需要并行运行这些步骤。为此,我尝试将 YARN 调度程序从 FIFO 更改为公平/容量调度程序。

我添加了:

yarn.resourcemanager.scheduler.class : 'org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler'

我需要在conf.empty文件夹中添加FairScheduler.xml文件吗?如果是的话,能否请您分享一下xml文件。如果我想通过cloudformation模板添加fairscheduler.xml,那么我需要使用bootstrap吗?如果可以的话,请给我提供引导文件。

最佳答案

看起来即使在更改调度程序后,EMR 也不允许同时运行作业。

关于hadoop-yarn - 带有 yarn 调度程序的 aws emr,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54084161/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com