Hadoop Capacity Scheduler - 使用默认队列

Question

当使用只有一个队列(默认)的 Hadoop 容量调度程序时，hadoop 如何调度该作业中的不同作业？是先进先出吗？它有不同的机制吗？

使用公平调度程序时，这种行为有什么不同吗？

Answer 1

来自 cloudera旧文章(Hadoop 1.x):

Once a queue is selected, the Scheduler picks a job in the queue. Jobs are sorted based on when they're submitted and their priorities (if the queue supports priorities).

作业按顺序考虑，如果作业的用户在队列的用户配额内，则选择该作业，即用户尚未使用超出其限制的队列资源。调度程序还确保 TaskTracker 中有足够的空闲内存来调整作业的任务，以防作业有特殊的内存要求。

一旦选择了作业，调度程序就会选择要运行的任务。这种选择任务的逻辑与早期版本保持不变。

来自 Apache 官方文档 CapacityScheduler :

Resource-based Scheduling - 支持资源密集型应用程序，其中应用程序可以选择指定比默认值更高的资源要求，从而适应具有不同资源要求的应用程序。 目前，内存是支持的资源需求。

来自 Apache 官方文档 FairScheduler :

Fair scheduling is a method of assigning resources to applications such that all apps get, on average, an equal share of resources over time. Hadoop NextGen is capable of scheduling multiple resource types. By default, the Fair Scheduler bases scheduling fairness decisions only on memory. It can be configured to schedule with both memory and CPU, using the notion of Dominant Resource Fairness developed by Ghodsi et al. When there is a single app running, that app uses the entire cluster

在每个队列中，调度策略用于在运行的应用程序之间共享资源。 默认是基于内存的公平共享，但也可以配置 FIFO 和具有 Dominant Resource Fairness 的多资源。队列可以分层排列，划分资源，配置权重，按特定比例共享集群。