python - 如何在 celery 中使用 Airflow

Question

我是airflow和celery的新手，我现在已经画完了dag，但是我想在同一子网的两台电脑上运行任务，我想知道如何修改airflow.cfg。一些例子可能会更好。感谢任何答案orz。

Answer 1

Airflow documentation很好地涵盖了这一点:

首先，您需要一个 celery 后端。这可以是例如 Redis 或 RabbitMQ。然后，您的 airflow.cfg 中的执行器参数应设置为 CeleryExecutor。

然后，在 airflow.cfg 的 celery 部分，将 broker_url 设置为指向您的 celery 后端(例如 redis://your_redis_host:your_redis_port/1) .将 celery_result_backend 指向一个 sql 数据库(您可以使用与主 Airflow 数据库相同的数据库)。

然后，在您的 worker 机器上简单地启动 airflow worker，您的工作应该在两台机器上开始。