Hadoop 调度程序与 oozie

Question

oozie 和 Hadoop 调度程序(FIFO、Fair、Capacity、Delay 等)之间有什么区别？哪一个通常用于生产环境？

Answer 1

它们提供不同的功能。

Oozie 是一个作业调度程序和编排引擎。它将在配置的队列中执行 YARN 作业。例如，mapreduce.job.queuename在 MR/Java 操作中，tez.queue.name在 Hive Action 中(在 Tez 上)，或 --queue在星火。

您使用的队列取决于您拥有的工作负载，但 Fair 或 Capacity 最适合 Multi-Tenancy 工作负载。

如果您有需要在其他作业之前运行的作业，队列中的 FIFO 排序效果最好，尽管 Oozie 对如何订购完整作业有自己的定义

还有:Job and Task Scheduling In Hadoop