sql - 执行一堆配置单元查询(构建 DAG)

Question

背景

我希望执行一堆配置单元查询(大约 20-30 个查询，并且数量还在增加)。其中一些查询依赖于少数其他查询的结果，而其中一些可以并行执行。 (DAG)

问题

是否有一个工作流管理器可以负责构建 DAG(给定一堆查询作为输入)并并行/顺序执行这些查询(以最优化的方式)。

相同的最佳实践是什么。

Answer 1

您可以使用任何工具进行工作流管理。最佳实践取决于用例和专业知识。

传统上在企业中:- 可以使用 Control-M 或 cron 调度程序。

来自大数据生态系统:oozie 或 azkaban

还有其他几种工具可用于工作流管理。