python - Airflow 任务中不允许使用 multiprocessing.Pool 吗？ - 断言错误 : daemonic processes are not allowed to have children

Question

我们的 Airflow 项目有一个从 BigQuery 查询并使用 Pool 并行转储到本地 JSON 文件的任务:

def dump_in_parallel(table_name):
    base_query = f"select * from models.{table_name}"
    all_conf_ids = range(1,10)
    n_jobs = 4

    with Pool(n_jobs) as p:
        p.map(partial(dump_conf_id, base_query = base_query), all_conf_ids)

    with open("/tmp/final_output.json", "wb") as f:
        filenames = [f'/tmp/output_file_{i}.json' for i in all_conf_ids]

这项任务在 Airflow v1.10 中对我们来说工作正常，但在 v2.1+ 中不再工作。此处为第 2.1 节 - https://blog.mbedded.ninja/programming/languages/python/python-multiprocessing/ - 提到“如果您尝试从已使用 Pool 创建的子工作人员中创建 Pool，您将遇到错误:不允许守护进程拥有子进程”

这是完整的 Airflow 错误:

[2021-08-22 02:11:53,064] {taskinstance.py:1462} ERROR - Task failed with exception
Traceback (most recent call last):
  File "/usr/local/lib/python3.7/site-packages/airflow/models/taskinstance.py", line 1164, in _run_raw_task
    self._prepare_and_execute_task_with_callbacks(context, task)
  File "/usr/local/lib/python3.7/site-packages/airflow/models/taskinstance.py", line 1282, in _prepare_and_execute_task_with_callbacks
    result = self._execute_task(context, task_copy)
  File "/usr/local/lib/python3.7/site-packages/airflow/models/taskinstance.py", line 1312, in _execute_task
    result = task_copy.execute(context=context)
  File "/usr/local/lib/python3.7/site-packages/airflow/operators/python.py", line 150, in execute
    return_value = self.execute_callable()
  File "/usr/local/lib/python3.7/site-packages/airflow/operators/python.py", line 161, in execute_callable
    return self.python_callable(*self.op_args, **self.op_kwargs)
  File "/usr/local/airflow/plugins/tasks/bigquery.py", line 249, in dump_in_parallel
    with Pool(n_jobs) as p:
  File "/usr/local/lib/python3.7/multiprocessing/context.py", line 119, in Pool
    context=self.get_context())
  File "/usr/local/lib/python3.7/multiprocessing/pool.py", line 176, in __init__
    self._repopulate_pool()
  File "/usr/local/lib/python3.7/multiprocessing/pool.py", line 241, in _repopulate_pool
    w.start()
  File "/usr/local/lib/python3.7/multiprocessing/process.py", line 110, in start
    'daemonic processes are not allowed to have children'
AssertionError: daemonic processes are not allowed to have children

如果重要，我们会使用 LocalExecutor 运行 Airflow 。知道为什么这个使用 Pool 的任务会在 Airflow v1.10 中工作，但不再在 Airflow 2.1 中工作吗？

Answer 1

Airflow 2 在后台使用不同的处理模型来加快处理速度，同时在运行的任务之间保持基于进程的隔离。

这就是为什么它使用 forking 和钩子(Hook)下的多处理来运行任务，但这也意味着如果你使用多处理，你将达到 Python 多处理的限制，它不允许链接多-处理。

我不能 100% 确定它是否会起作用，但您可以尝试将 execute_tasks_new_python_interpreter 配置设置为 True。 https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#execute-tasks-new-python-interpreter .此设置将导致 Airflow 在运行任务而不是 fork /使用多处理时启动新的 Python 解释器(尽管我不是 100% 确定后者)。尽管运行你的任务，它的运行速度会慢很多(最多几秒钟的开销)，因为新的 Python 解释器必须在运行你的任务之前重新初始化并导入所有 Airflow 代码。

如果这不起作用，那么您可以使用 PythonVirtualenvOperator 启动您的多处理工作 - 它将启动一个新的 Python 解释器来运行您的 python 代码，您应该能够使用多处理。