- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我创建了一个 DAG,它使用 cron 语法安排在每 5 分钟执行一次。此外,池是为这个 dag 创建的,只有一个插槽。
我已尝试重新启动服务器/调度程序并重置数据库。目前,DAG 以 UTC 时间运行。另外,我尝试设置我的本地时区,即“欧洲/明斯克”(UTC+3) - 它没有任何效果。
import random
import time
import airflow
from airflow.models import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.operators.python_operator import PythonOperator
from datetime import datetime, timedelta
default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': airflow.utils.dates.days_ago(2),
'email': ['airflow@example.com'],
'email_on_failure': False,
'email_on_retry': False,
'retries': 1,
'retry_delay': timedelta(minutes=5),
'pool': 'download',
# 'priority_weight': 10,
# 'queue': 'bash_queue',
}
params = {
'table': 'api_avitoimage',
}
dag = DAG(
dag_id='test_download_avitoimage',
default_args=default_args,
schedule_interval='*/5 * * * *',
)
def sleep_for_a_bit(random_base):
time.sleep(random_base)
with dag:
download = BashOperator(
task_id='download',
bash_command='/usr/bin/python3 /home/artur/downloader.py --table {{ params.table }}',
params=params,
dag=dag)
sleep = PythonOperator(
task_id='sleep_for_a_bit',
python_callable=sleep_for_a_bit,
op_kwargs={'random_base': random.uniform(0, 1)},
dag=dag,
)
download >> sleep
问题: DAG 每分钟运行约 2-3 次,这完全是不正确的执行。已编辑:碰巧有 16/16 个同时活跃的 DAG 运行。但我不明白这个“神奇数字 16”是从哪里来的。
最佳答案
默认情况下,Airflow 会尝试完成自 start_date
以来所有“错过”的 DAG。由于您的 start_date
设置为 airflow.utils.dates.days_ago(2)
,Airflow 将在按计划开始启动 DAG 之前运行 DAG 576 次。您可以通过将 catchup = False
添加到 DAG 定义(不是 default_args)来关闭它。
魔数(Magic Number)16来自默认设置的参数max_active_runs_per_dag = 16
。
关于cron - Airflow 的 DAG 在一分钟内运行多次,尽管它计划每 5 分钟运行一次,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56593421/
嗨,我想运行一个 cron 作业来在我的服务器上调用 PHP 脚本。 我正在使用 Cpanel 从我的网络主机,这些是选项: 分钟: 小时: 日: 月份: 工作日: 命令: 我真的很难将命令指向我的文
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the he
有没有办法配置supervisor每 X 秒运行一些命令(如 CRON)? 我看到了 eventlistener 和 TICK_ 事件的例子 [eventlistener:memmon] comman
如果 Cron 有一项作业计划在凌晨 2 点运行,另一项作业在凌晨 3 点运行,那么这些作业会受到夏令时的影响吗? 当时间向后移动一小时时,时间是否会直接从凌晨 2:59:59 变为凌晨 2:00:0
第一个示例 假设我有一份 CRON 工作 30 2 * * * .... 然后每次晚上 2:30(本地时间)都会运行。 现在假设我的时区是欧洲/德国,并且是 2017 年 10 月 29 日(夏令时
我想在不到一分钟的时间内(例如每 30 秒)在主机上运行一个命令,但我无权访问 ssh。我只有 .我不知道如何使用它进行一些黑客攻击以在不到一分钟的时间内运行代码。 EDIT1:在这个问题中,我的访问
我探索并发现在 quartz cron 表达式中: sec min hour day_of_month month day_of_week year, 我们可以提供 day_of_month 或 da
我试图弄清楚是否可以设置一个 cron 作业,将所有文件从我的服务器上的一个文件夹传输到另一个文件夹,然后从另一个文件夹中获取一组文件(随机选择的文件)并将其放入原来的文件夹中。如果有关于如何执行此操
我服务器上的一个驱动器最近损坏了操作系统。我能够恢复所有文件,但现在我有一个只有文件系统的备份驱动器;不可启动。我现在正在设置一个新服务器,并且需要设置旧的 cron 作业。有没有办法查看文件结构以查
我尝试了 http://docs.opscode.com/resource_cron.html#examples 给出的最简单的例子 cron "name_of_cron_entry" do
我注意到很多人在讨论 Gearman,它的调度功能使它能够将工作分配到其他服务器上。但是,我还没有看到与本地 cronjobs 的比较。 cron 和 Gearman 有什么区别? 最佳答案 如果您正
我需要在此运行一份工作 cron日程安排,但似乎我无法在一份声明中表达这一点。有没有办法在一个 cron 中得到这个陈述? 周一至周六上午 8 点 下午 2 点 谢谢。 最佳答案 你是对的。恐怕这是不
我正在尝试在 OVH 网络主机上设置 cron。 要执行的脚本位于: /home/[登录ftp]/www/script.sh 因此,我使用此设置在 OVH 界面上创建了一个 cron: 要执行的命令:
这是cron我试过的表达 0 0 0 */14 * ?它给出了以下时间表 开始时间:- Friday, September 8, 2017 1:25 AM 下一个预定:- 1. Friday, Se
你如何从命令行创建一个 cron 作业,以便它在 gnome-schedule 中显示一个名称? 我知道如何使用 crontab 创建一个 cron 作业。但是,我所有的工作都以空白名称显示。我想更好
我有一个由 cron 安排的工作:每小时从服务器弹出电子邮件。 但有时我不想等待 60 分钟来查看我的电子邮件。为此,我使用了一个脚本,该脚本运行与 crontab 中相同的命令。它本质上就像在计划运
我想要一个每 2 小时 10 分钟运行一次的计划的 cron 表达式,我期望的输出是2:004:106:20我试过 0 0/2 0/2 * * ?为此,输出是这样的2012 年 11 月 1 日星期四
我有一个执行 shell 脚本的 cronjob在我的 shell 脚本中我做了一个模块加载 tww/perl 但它给了我 module: command not found 我能做什么?我至少有 1
在 Jenkins 中,我们将 Poll SCM 计划设置为 * * * * * .但 Jenkins 建议 Do you really mean "every minute" when you sa
在 logrotate 联机帮助页中,他们说: “通常,logrotate 作为日常 cron 作业运行”。 这是否意味着 logrotate 使用 cron(或由 cron 执行)? 如果是这样,这
我是一名优秀的程序员,十分优秀!