celery - Airflow + celery 或 dask。为了什么，什么时候？

Question

我阅读了 Airflow 官方文档 the following :



这究竟是什么意思？作者所说的向外扩展是什么意思？即当是吗不是 足以使用 Airflow 或者什么时候有人将 Airflow 与 Celery 之类的东西结合使用？ (与 dask 相同)

Answer 1

在 Airflow 术语中，“执行器”是负责运行任务的组件。 LocalExecutor通过在 Airflow 运行的计算机上产生线程并让线程执行任务来实现这一点。

自然而然，您的容量会受到本地机器上可用资源的限制。 CeleryExecutor将负载分配给多台机器。执行器本身向队列发布执行任务的请求，几个工作节点之一接收请求并执行它。您现在可以扩展工作程序节点集群以增加整体容量。

最后，还没有准备好，还有一个 KubernetesExecutor在作品中( link )。这将在 Kubernetes 集群上运行任务。这不仅可以让您的任务完全隔离，因为它们在容器中运行，您还可以利用 Kubernetes 中的现有功能来自动扩展集群，以便您始终拥有最佳数量的可用资源。