sqlalchemy - Airflow + sqlalchemy 与元数据数据库的短暂连接

Question

我在 centos 7.5 虚拟机上部署了最新的 Airflow ，并将 sql_alchemy_conn 和 result_backend 更新到 postgresql 实例上的 postgres 数据库，并将我的执行程序指定为 CeleryExecutor。根本没有启用任何 dag，甚至没有启动 Airflow 调度程序，我看到大约每 5 秒建立一个连接，然后准备运行一个 SELECT 1 和一个 SELECT CAST('test plain returns ' AS VARCHAR(60)) AS anon_1。

当启动调度程序并打开 dags 时，短期连接的数量会急剧增加。有谁知道这是为什么？这是心跳检查还是任务状态检查？使用 airflow.cfg 中的 sql_alchemy_pool_enabled = True 这些连接是否应该不再存在？是否有日志可供我查明这些与亚秒级生命的联系来源？

用于引用的配置值

    executor = CeleryExecutor
    sql_alchemy_conn = postgres://..../db1
    sql_alchemy_pool_enabled = True
    sql_alchemy_pool_size = 5
    sql_alchemy_max_overflow = 0
    parallelism = 32
    dag_concurrency = 16
    max_active_runs_per_dag = 16
    worker_concurrency = 16
    broker_url = redis://...
    result_backend = db+postgresql+psycopg2://.../db2
    job_heartbeat_sec = 5
    scheduler_heartbeat_sec = 5

Answer 1

将 AIRFLOW__CORE__SQL_ALCHEMY_POOL_PRE_PING 设置为 False。

在每个连接池检查开始时检查连接。通常，这是一个简单的语句，如 SELECT 1。

更多信息在这里:https://docs.sqlalchemy.org/en/13/core/pooling.html#disconnect-handling-pessimistic