hadoop - 使用 Apache Oozie 编排 Apache Spark

Question

我们正在考虑将 apache spark 集成到我们的计算过程中，我们最初想使用 apache oozie 和标准 MR 或 MO(仅限 map )作业。

经过一些研究后，仍然存在几个问题:

1. 是否可以使用 apache oozie 编排 apache spark 进程？如果是，怎么做？
2. oozie 是否不再必要，或者 spark 可以自行处理编排？ (统一似乎是 spark 的主要关注点之一)

请在回答时考虑以下场景:

1. 每 4 小时执行一次工作流程
2. 在特定数据可访问时执行工作流
3. 触发工作流并使用参数配置

提前感谢您的回答。

Answer 1

Oozie 4.2 支持 Spark 作为操作类型，请参阅 docs .您提到的场景是 Oozie 的常见功能。