jobs - Apache Oozie 和 Apache Airflow 选择哪一个？需要比较

Question

我是作业调度程序的新手，正在寻找一个在大数据集群上运行作业的调度程序。我对可用的选择感到非常困惑。发现与现有的 TWS、Autosys 等相比，Oozie 有很多局限性。

需要一些 Oozie 与 Airflow 的比较点。

感谢您的帮助。

Answer 1

根据我的经验，Airflow 是目前最好的数据管道。它最适合管理复杂、长时间运行的工作流程。 UI 和模块化是最重要的。

Airflow

• + DAG 的 Python 代码
• + 拥有适用于每个主要服务/云提供商的连接器
• + 更加通用
• + 高级指标
• + 更好的 UI 和 API
• + 能够创建极其复杂的工作流程
• + Jinja 模板
• + 可用作 Tensorflow Extended 生态系统的 Orchestrator
• = 可以并行化
• = 与 HDFS、HIVE、PIG 等的 native 连接。
• = DAG 图表

Oozie

• --- 用于 DAG 的 Java 或 XML
• - 难以构建复杂的管道
• - 较小、不太活跃的社区
• - 更糟糕的 WEB GUI
• - Java API
• = 可以并行化
• = 与 HDFS、HIVE、PIG 等的 native 连接。
• = DAG 图表

如您所见，Airflow 比 Oozie 更易于使用(尤其是在大型异构团队中)、更通用且更强大的选项。

正如我所说:选择 Airflow。

Article you may find interesting