python - 运行 `airflow scheduler` 启动 33 个调度程序进程

Question

当使用 LocalExecutor 和 MySQL 后端时，在我的 Centos 6 机器上运行 airflow Scheduler 会创建 33 个调度程序进程，例如
部署 55362 13.5 1.8 574224 73272 ？ Sl 18:59 7:42/usr/local/bin/python2.7/usr/local/bin/airflow 调度程序
部署 55372 0.0 1.5 567928 60552 ？ Sl 18:59 0:00/usr/local/bin/python2.7/usr/local/bin/Airflow 调度程序
部署 55373 0.0 1.5 567928 60540 ？ Sl 18:59 0:00/usr/local/bin/python2.7/usr/local/bin/Airflow 调度程序
...
它们与 Executor 进程以及 Gunicorn 主进程和辅助进程不同。使用 SequentialExecutor(sqlite 后端)运行它只会启动一个调度程序进程。
Airflow 仍然有效(DAG 正在运行)，但这些进程的数量让我觉得出了问题。
当我在数据库中运行 select * from job where state = 'running'; 时，仅返回 5 SchedulerJob 行。这正常吗？

Answer 1

是的，这是正常的。这些是调度程序进程。您可以使用airflow.cfg中的以下参数来控制它

# The amount of parallelism as a setting to the executor. This defines
# the max number of task instances that should run simultaneously
# on this airflow installation
parallelism = 32

这些是从调度程序生成的，其 pid 可以在 airflow-scheduler.pid 文件中找到

您看到的进程数为 32+1=33。

希望这能消除您的疑虑。

干杯!