python - 设置 Airflow 计划间隔

Question

我在 Airflow 中创建了任务，计划每小时运行一次，并将 start_date 设置为 2016-11-16

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2016, 11, 16),
    'email': ['airflow@airflow.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    # 'queue': 'bash_queue',
    # 'pool': 'backfill',
    # 'priority_weight': 10,
    # 'end_date': datetime(2016, 1, 1),
}

dag = DAG('test_hourly_job', default_args=default_args,schedule_interval="@hourly")

我在当前时间 10:00 AM 启动了 Airflow，我可以看到 Airflow 从 00:00 AM 开始运行，然后是 01:上午 00 点 等等:

INFO - Executing command: airflow run test_hourly_job task1 2016-11-16T00:00:00 --local -sd DAGS_FOLDER/test_airflow.py
........
........
INFO - Executing command: airflow run test_hourly_job task1 2016-11-16T01:00:00 --local -sd DAGS_FOLDER/test_airflow.py 
.......
....... 

如何将 Airflow 配置为从当前时间开始并每小时运行一次，而不是从 00:00 开始？

Answer 1

在你的问题中你写了字典:default_args

In this there is Key: 'start_date': datetime(2016, 11, 16)

实际上，这里创建的日期时间对象具有输入 YYYY/MM/DD 格式，我们不提供时间输入，因此默认为 00:00，因此您的脚本在时间 00:00 运行你可以这样检查:在 python 中

from datetime import datetime

datetime(2016, 11, 16)

 #That Datetime object is generated with 00:00 Time  

#datetime(2016, 11, 16, 0, 0)

#If you need Current date and time to start process you can set value as:
'start_date': datetime.now()
#if you want only current time with respective date then you can use as fallows:

current_date = datetime.now() 
default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2016, 11, 16, current_date.hour, current_date.minute),
    'email': ['airflow@airflow.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    # 'queue': 'bash_queue',
    # 'pool': 'backfill',
    # 'priority_weight': 10,
    # 'end_date': datetime(2016, 1, 1),
}
dag = DAG('test_hourly_job', default_args=default_args,schedule_interval="@hourly")