hadoop - 在 Hortonworks 数据平台上从 Capacity Scheduler 切换到 Fair Scheduler

Question

我的组织目前正在使用 Hortonworks HDP 来管理我们的 Hadoop 集群。默认的 YARN 调度器是 Capacity Scheduler。我想切换到 Fair Scheduler。我对 HDP 完全陌生。

在没有集群管理套件的情况下，这将通过编辑 yarn-site.xml 并将 yarn.resourcemanager.scheduler.class 属性更改为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler并创建一个额外的 fair-scheduler.xml 文件来指定队列配置，如前所述 here然后通过在 yarn-site.xml 中设置 yarn.scheduler.fair.allocation.file 属性将 YARN 引用到该配置。

现在在 Ambari 中，虽然可以通过 UI 更改 yarn.resourcemanager.scheduler.class 属性，并添加新的自定义属性 yarn.scheduler.fair.allocation。文件，我无法(看在上帝的份上)找到让 ambari 读取 fair-scheduler.xml 而不是 capacity-scheduler.xml 的方法。

所以我的问题是；我如何通过 Ambari 切换到公平调度程序？一定有一个简单的方法，对吧？

Properties in capacity-scheduler.xml

Answer 1

在您的 RM 节点上，将 yarn.scheduler.fair.allocation.file 设置为您的 fair-scheduler.xml 的完整路径(或在 ambari 下的自定义 yarn-site 中)

tail -n 1000 /var/log/hadoop-yarn/yarn/hadoop-yarn-resourcemanager-master.log | grep "fair-scheduler.xml"

重新启动 ResourceManager 后，您应该会看到它正在加载您的文件:

2019-02-19 15:49:26,358 INFO  fair.AllocationFileLoaderService (AllocationFileLoaderService.java:reloadAllocations(230)) - Loading allocation file file:/usr/hdp/current/hadoop-client/conf/fair-scheduler.xml

适用于 Hdp 3.1.1，也可能适用于 3.0.0