airflow - 用 --mark_success 回填很慢

Question

我希望使用 -m 进行回填的行为或多或少会立即运行，因为没有完成任何工作。然而，我发现调度程序在每个任务上花费大约 30 秒，这似乎过多。

我在 local_executor 模式下以 Postgresql 作为数据库运行一个小型 Airflow 实例。

这是否反射(reflect)了您对 Airflow 回填的体验？您是否知道性能陷阱或加快速度的技巧？

Answer 1

我发现了一种加速方式:

--donot-pickle
Do not attempt to pickle the DAG object to send over to the workers, just tell the workers to run their version of the code

Default: False

https://airflow.apache.org/docs/apache-airflow/stable/cli-and-env-variables-ref.html#Named%20Arguments_repeat8