airflow - 使用 Airflow 进行实时作业编排

Question

我有一个作为 Web 服务运行的应用程序，它根据用户请求向 Spark 提交作业。需要限制每个用户的作业队列。我计划使用 Airflow 作为编排框架来管理作业队列，但虽然它支持并行 DAG 执行，但它针对批处理而不是实时进行了优化。 Airflow 的设计是否能够通过多个队列(每个用户一个)每秒处理约 200 次 DAG 执行，还是我应该寻找替代方案？

Answer 1

您是否将数据从一项任务转移到另一项任务？既然你提到了实时，时间在这里重要吗？对于 Airflow，工作流程预计大部分是静态的或缓慢变化的。主要用于 ETL 批处理，您可以加快 Airflow 心跳，但最好有一个带有您的用例的 POC 来进行测试。
以下来自Airflow官方文档:https://airflow.apache.org/#beyond-the-horizon

Airflow is not a data streaming solution. Tasks do not move data from one to the other (though tasks can exchange metadata!). Airflow is not in the Spark Streaming or Storm space, it is more comparable to Oozie or Azkaban