hadoop - YARN 容量调度程序队列未按照配置的 ACL 运行

Question

我一直在为 YARN 容量调度程序使用以下配置:

yarn.scheduler.capacity.maximum-am-resource-percent=0.2
yarn.scheduler.capacity.maximum-applications=10000
yarn.scheduler.capacity.node-locality-delay=40
yarn.scheduler.capacity.root.capacity=100
yarn.scheduler.capacity.root.queues=tier1,tier2
yarn.scheduler.capacity.root.tier1.capacity=65
yarn.scheduler.capacity.root.tier1.maximum-capacity=75
yarn.scheduler.capacity.root.tier1.state=RUNNING
yarn.scheduler.capacity.root.tier2.capacity=35
yarn.scheduler.capacity.root.tier2.maximum-capacity=75
yarn.scheduler.capacity.root.tier2.state=RUNNING
yarn.scheduler.capacity.root.tier1.acl_submit_applications=user1
yarn.scheduler.capacity.root.tier2.acl_submit_applications=user2

现在根据我对容量调度程序的理解，当我使用用户 user1 运行作业时，它应该使用 tier1 queue 并且当我使用用户运行作业时 user2 登录(或明确使用 sudo - user2)，它应该使用 tier2 queue。但是，系统没有使用这些队列。

我遇到的第二个问题描述如下:

根据上述配置，

user1 不应将作业提交到 tier2 队列。

user2 不应根据上述配置将作业提交到 **tier**1 队列。

当我运行以下命令时:

sudo -u user1 hdfs yarn jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.4.0.2.1.2.1-471.jar pi -D mapreduce.job.queuename=tier2 2 100000

作业运行成功，但事实并非如此。

请提出可能的解决方法。

Answer 1

在 scheduler.capacity.xml 文件中使用以下属性yarn.scheduler.capacity.root.it.user-limit-factor=2
yarn.scheduler.capacity.root.price.user-limit-factor=1