gpt4 book ai didi

Airflow DAG 不基于 `start_date` 启动,它从现在开始

转载 作者:行者123 更新时间:2023-12-04 08:29:13 25 4
gpt4 key购买 nike

我有一个 Airflow DAG 需要回填,当我更改 start_date 时并运行 dag,它不理解 start_date并且只是从当前日期开始。
我将我的代码复制到一个新的 python 文件中,例如从“dag_xx.py”到“dag_xx_backfill.py”,并更改了 dag 本身及其所有任务的名称。另外,我使用了 Delete按钮清除 dag 的整个状态并重新开始。但是,它并没有从我想要的 start_date 开始
dag 的 default_args 中有一些配置, 喜欢:

default_args = {
"owner": "airflow",
"depends_on_past": False,
"retries": 1,
"retry_delay": timedelta(minutes=1),
"catchup": True
}

test_dag_backfill = DAG(
dag_id="test_dag_backfill",
description="backfill the data",
default_args=default_args,
start_date=datetime(2020, 11, 1, 3, 0, tzinfo=local_tz),
schedule_interval="0 * * * *", # or @hourly
max_active_runs=1,
)
如您所见, start_date是 11 月 1 日,但从当前日期(12 月 2 日)开始。
你知道我在这里缺少什么吗?

最佳答案

嗯,我找到原因了。如果您使用 catchupdefault_args ,它不起作用,因为它是 dag 属性,但在 default_args 中您可以定义默认的运算符属性。我所做的是包含 catchup直接在 DAG 属性中,它起作用了。
感谢:https://stackoverflow.com/a/54692189/10874265

关于Airflow DAG 不基于 `start_date` 启动,它从现在开始,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65107543/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com