hadoop-yarn - Yarn - yarn.scheduler.capacity.root.queue-name.maximum-capacity 如何工作？

Question

我在根队列下有 4 个队列，配置如下。

|-------------|-----------------|---------------------|-------------------|
| Queue Name  | Capacity (in %) | Max Capacity (in %) | User Limit Factor |
|-------------|-----------------|---------------------|-------------------|
| default     | 10              | 30                  | 10                |
|-------------|-----------------|---------------------|-------------------|
| thriftsvr   | 5               | 30                  | 10                |
|-------------|-----------------|---------------------|-------------------|
| stream      | 70              | 70                  | 10                |
|-------------|-----------------|---------------------|-------------------|
| batch       | 15              | 30                  | 10                |
|-------------|-----------------|---------------------|-------------------|

我已经通过 yarn.scheduler.capacity.root.<queue-name>.capacity 设置了容量和最大容量 yarn.scheduler.capacity.root.<queue-name>.maximum-capacity属性(property)。

我的理解是，以上 2 个属性分别设置了绝对容量和绝对最大容量。这意味着队列流的 100% 等于集群总容量的 70%，它最多可以填充队列容量的 100%，也就是集群总容量的 70%。

现在，问题是当队列 'stream' 被 66.4% 填满时(即当已用容量:66.4% 和绝对已用容量:46.5%)然后新作业进入挂起状态，在队列 'stream' 中通过说“等待 AM 容器被分配、启动并注册到 RM”。

当我在 yarn UI 上检查队列配置时，它显示已配置的最大容量:70.0% 和绝对配置的最大容量:70.0% 但根据配置，队列“流”可以填充到已用容量:100% 和绝对已用容量:70%


任何想法，为什么新作业无法利用队列流的容量直到 100%？

Answer 1

我怀疑这里令人困惑的是 .capacity和 .maximum-capacity属性都可以定义为

相对于父队列 root的百分比(作为浮点数，例如 12.5 )

绝对资源值(使用资源值语法，例如 [memory=204800,vcores=122] )

如果您有任何进一步的问题，请提出。

如需完整引用，请阅读文档: https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html#Queue_Properties