java - Hadoop 中的作业和任务调度

Question

当我阅读延迟公平调度时，我对 Hadoop 中的术语“作业调度”和“任务调度”感到有点困惑 in this slide .

如果我的以下假设有误，请纠正我:

1. 默认调度器、容量调度器和公平调度器仅在用户调度多个作业时在作业级别有效。如果系统中只有一个作业，它们将不起任何作用。这些调度算法构成了“作业调度”的基础

2. 每个作业可以有多个 map 和 reduce 任务，它们是如何分配给每台机器的？如何为单个作业安排任务？ “任务调度”的依据是什么？

Answer 1

在公平调度器的情况下，当有一个作业在运行时，该作业使用整个集群。当提交其他作业时，释放的任务槽将分配给新作业，以便每个作业获得大致相同的 CPU 时间。

与形成作业队列的默认 Hadoop 调度程序不同，这可以让短作业在合理的时间内完成，而不会使长作业挨饿。这也是在多个用户之间共享集群的简单方法。公平共享还可以与作业优先级一起使用 - 优先级用作权重来确定每个作业获得的总计算时间的比例。

CapacityScheduler 旨在允许共享大型集群，同时为每个组织提供最低容量保证。中心思想是 Hadoop Map-Reduce 集群中的可用资源在多个组织之间进行分区，这些组织根据计算需求共同资助集群。还有一个额外的好处，即组织可以访问其他人未使用的任何多余容量。这以具有成本效益的方式为组织提供了弹性。