hadoop - 容量调度程序能够在其他队列中提交作业，尽管配置设置正确

Question

下面是我的调度程序 xml 文件，我限制了对根队列的访问，作为 dev2，qa2 用户应该只提交他们的队列。但是我也可以以 dev2 用户的身份将作业提交到 QA 队列，这不应该发生，我还在 RANGER YARN 策略和禁用的 super 策略中进行了相应修改，所有用户都可以访问所有队列，请告诉我。

yarn.scheduler.capacity.root.default.user-limit-factor=1
yarn.scheduler.capacity.root.default.state=RUNNING
yarn.scheduler.capacity.root.default.maximum-capacity=40
yarn.scheduler.capacity.root.default.capacity=40
yarn.scheduler.capacity.root.default.acl_submit_applications= 
yarn.scheduler.capacity.root.default.acl_administer_jobs= 
yarn.scheduler.capacity.root.capacity=100
yarn.scheduler.capacity.root.acl_administer_queue= 
yarn.scheduler.capacity.root.accessible-node-labels=*
yarn.scheduler.capacity.node-locality-delay=40
yarn.scheduler.capacity.maximum-applications=10000
yarn.scheduler.capacity.maximum-am-resource-percent=0.2
yarn.scheduler.capacity.default.minimum-user-limit-percent=100
capacity-scheduler=null
yarn.scheduler.capacity.root.queues=dev,qa,default
yarn.scheduler.capacity.root.acl_administer_jobs= 
yarn.scheduler.capacity.root.default.acl_administer_queue= 
yarn.scheduler.capacity.root.default.user-limit=1
yarn.scheduler.capacity.root.dev.acl_submit_applications=dev2
yarn.scheduler.capacity.root.dev.capacity=30
yarn.scheduler.capacity.root.dev.maximum-capacity=30
yarn.scheduler.capacity.root.dev.user-limit=1
yarn.scheduler.capacity.root.qa.acl_submit_applications=qa2
yarn.scheduler.capacity.root.qa.capacity=30
yarn.scheduler.capacity.root.qa.maximum-capacity=30
yarn.scheduler.capacity.root.qa.user-limit=1

Answer 1

您遗漏了阻止访问 root 队列的属性。

这里 root 是 dev 和 qa 子队列的父队列。对该队列的访问不受限制，因此所有用户和组都可以访问该队列及其子队列。

将此属性添加到 capacity-scheduler.xml，

  <property>
    <name>yarn.scheduler.capacity.root.acl_submit_applications</name>
    <value> </value>
  </property>

这会阻止所有用户和组访问 root 队列，然后为子队列提供的 acls 将按照定义进行限制。