hadoop - 容量调度器

Question

Capacity Scheduler 允许沿组织线共享 Hadoop 集群，从而为每个组织分配整个集群的特定容量。我想知道如果大数据来了，那么分配给某个队列的容量会自动改变吗？

Answer 1

在容量调度器配置中我们定义了yarn.scheduler.capacity.root.<queue name>.capacity和 yarn.scheduler.capacity.root.<queue name>.maximum-capacity

yarn.scheduler.capacity.root.<queue name>.capacity是队列的容量，而 yarn.scheduler.capacity.root.<queue name>.maximum-capacity是该队列中所有作业/用户可以占用的最大资源

如果有大数据来，那么分配给某个队列的容量会自动改变。

不，队列大小是固定的，不会根据输入数据量自动更改。您可以在 capacity-scheduler.xml 中手动更改它然后按 yarn rmadmin -refreshQueues 刷新队列

您可以编写一个脚本来根据输入数据量更新(和刷新)队列容量，但我认为不推荐这样做。