Airflow 2.0 问题 : Too many airflow supervisor tasks

Question

我使用 docker swarm 和 Celery Executor 安装了 airflow 2.0。
1 周后，celery workers 内存被 airflow task supervisor 溢出(附截图)
有人遇到过这样的问题吗？有什么建议吗？

Answer 1

在 Airflow 2.0 中，有两种创建子进程的方法。

1. 父进程的 fork (快速)
2. 使用 python 子进程(慢)生成一个新的 python 进程

默认情况下，airflow 2.0 使用 (1) 方法。 fork 父进程更快。另一方面，子进程不会在任务完成后被杀死。子进程数量不断增加，直到内存耗尽。

我通过设置 execute_tasks_new_python_interpreter = True 切换到子进程方法 (2)。在这里，每个 python 进程都会被杀死，每次都会创建新进程。这可能会很慢，但可以有效地利用内存。