redis - 在 Airflow 的不同机器上运行一个 DAG 的多个任务

Question

我需要创建一个看起来像这样的 dag-

print_date 任务需要从服务器 A 运行，模板化 任务需要从服务器 B 运行。从文档中可以清楚地看出，将需要带有 Redis 或 RabbitMq 的 celery 。我正在使用 celery 和 Redis(puckel/docker-airflow)。我已经在带有 celery 执行器的服务器 B 中运行了 Airflow 。
我是否也需要在服务器 A 中进行相同的设置？另外，我如何将这两个任务连接到一个实际存在于不同服务器中的 dag 中？非常感谢此类用例的示例框架。

Answer 1

使用 Airflow Queues .当您定义任务时，添加一个 queue 参数并将其分配给特定队列。

例如，队列 1 将只在机器 1 上运行所有任务，而队列 2 将在机器 2 上运行所有任务。

因此您可以将任务 A 分配给队列 1，因此它将在机器 1 上运行并赋值

任务 B 到队列 2，因此它将在机器 2

上运行

在 https://airflow.apache.org/concepts.html#queues 查看文档