- Java锁的逻辑(结合对象头和ObjectMonitor)
- 还在用饼状图?来瞧瞧这些炫酷的百分比可视化新图形(附代码实现)⛵
- 自动注册实体类到EntityFrameworkCore上下文,并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
本文首发于公众号:Hunter后端 原文链接: celery笔记八之数据库操作定时任务 。
前面我们介绍定时任务是在 celery.py 中的 app.conf.beat_schedule 定义,这一篇笔记我们介绍一下如何在 Django 系统中的表里来操作这些任务.
我们先通过 app.conf.beat_schedule 定义定时任务:
app.conf.beat_schedule = {
'add-every-60-seconds': {
'task': 'blog.tasks.add',
'schedule': 60,
'args': (16, 16),
},
'schedule_minus': {
'task': 'blog.tasks.minus',
'schedule': crontab(minute=5, hour=2),
'args': (12, 24),
},
}
如果我们就这样启动 Django 系统,worker 和 beat 服务,系统的定时任务就只有一个,写死在系统里.
当然,我们也可以使用一些 celery 的函数来手动向系统里添加定时任务,但是我们有一个更好的方法来管理操作这些定时任务,那就是将这些定时任务写入到数据库中,来进行增删改查操作,定制开发.
将定时任务写入数据库,我们需要进行以下几步操作:
安装依赖 。
通过 pip 安装一个 django-celery-beat 依赖:
pip3 install django-celery-beat
INSTALLED_APP添加模块 。
安装后,要正常使用还需要将其添加到 settings.py 的 INSTALLED_APPS 中:
# settings.py
INSTALLED_APPS = [
...,
'django_celery_beat',
]
执行migrate 。
接下来我们执行 migrate 操作将需要创建的表写入数据库:
python3 manage.py migrate
可以看到如下输出:
Running migrations:
Applying django_celery_beat.0001_initial... OK
Applying django_celery_beat.0002_auto_20161118_0346... OK
Applying django_celery_beat.0003_auto_20161209_0049... OK
Applying django_celery_beat.0004_auto_20170221_0000... OK
Applying django_celery_beat.0005_add_solarschedule_events_choices... OK
Applying django_celery_beat.0006_auto_20180322_0932... OK
Applying django_celery_beat.0007_auto_20180521_0826... OK
Applying django_celery_beat.0008_auto_20180914_1922... OK
Applying django_celery_beat.0006_auto_20180210_1226... OK
Applying django_celery_beat.0006_periodictask_priority... OK
Applying django_celery_beat.0009_periodictask_headers... OK
Applying django_celery_beat.0010_auto_20190429_0326... OK
Applying django_celery_beat.0011_auto_20190508_0153... OK
Applying django_celery_beat.0012_periodictask_expire_seconds... OK
Applying django_celery_beat.0013_auto_20200609_0727... OK
Applying django_celery_beat.0014_remove_clockedschedule_enabled... OK
Applying django_celery_beat.0015_edit_solarschedule_events_choices... OK
然后可以看到在 Django 系统对应的数据库里新增了几张表,表的介绍及使用我们在后面再介绍.
在启动 beat 前,我们需要对时区进行设置,前面我们介绍过在 Django 和 celery 中都需要设置成北京时间:
TIME_ZONE = "Asia/Shanghai"
USE_TZ = False
# celery 时区设置
CELERY_TIMEZONE = "Asia/Shanghai"
CELERY_ENABLE_UTC = False
DJANGO_CELERY_BEAT_TZ_AWARE = False
启动 beat 我们需要添加参数将数据指定存储在数据库中,可以在启动 beat 的时候添加参数:
celery -A hunter beat -l INFO --scheduler django_celery_beat.schedulers:DatabaseScheduler
也可以通过 app.conf.beat_scheduler 指定值:
app.conf.beat_scheduler = 'django_celery_beat.schedulers:DatabaseScheduler'
然后直接启动 beat:
celery -A hunter beat -l INFO
在执行完 migrate 之后系统会多出几张表,都是定时任务相关的表:
其中 django_celery_beat_clockedschedule 和 django_celery_beat_solarschedule 暂时不介绍 。
django_celery_beat_crontabschedule 。
是我们的周期任务表,比如我们上面定义的:
'schedule_minus': {
'task': 'blog.tasks.minus',
'schedule': crontab(minute=5, hour=2),
'args': (12, 24),
},
执行 celery 的 beat 后,会在该表新增一条数据,表的字段就是我们设置的 crontab() 里的值,包括 minute,hour,day_of_week,day_off_month,month_of_year 和 timezone.
除了 timezone 字段,前面的字段如何定义和使用上一篇笔记中已经详细介绍过,timezone 字段则是我们在 settings.py 里定义的时区信息.
django_celery_beat_intervalschedule 。
这张表的数据是我们定义的间隔时间任务的表,比如每隔多少秒,多少分钟执行一次.
该表只有 id, every 和 period 字段,every 表示的是时间的间隔,填写的数字,period 则是单位,可选项有:
我们在定义间隔任务的时候,除了直接使用数字表示秒之外,还可以使用 datetime.timedelta() 来定义其他时间,比如:
from datetime import timedelta
app.conf.beat_schedule = {
'add-every-60-seconds': {
'task': 'blog.tasks.add',
'schedule': timedelta(minutes=5),
'args': (16, 16),
},
}
但是当我们启动 beat 的时候,系统在写入数据库的时候还是会自动为我们将其转化为秒数,比如 minutes=5,会给我们加入的数据是:
every=300, period='seconds'
django_celery_beat_periodictask 。
这张表其实是对前面几张表的任务的一个汇总, 。
还有参数,队列等信息.
每一条在 django_celery_beat_crontabschedule 和 django_celery_beat_intervalschedule 表中的数据都必须在该表中有一个汇总的信息记录才可以正常运行.
也就是说在前面的两张表中可以添加各种任务执行的策略,然后在 django_celery_beat_periodictask 中有一个数据指向该策略,就可以使用该策略进行周期任务的执行.
其中,name 字段上是有唯一键的,但是 task 可以重复写入,这也就意味着我们可以针对同一个 task 制定不同的定时策略.
django_celery_beat_periodictasks 。
这个表就一条数据,保存的是系统上一次执行任务的时间.
接下来我们自己定义两个周期任务,一个是 blog.tasks.add 函数,每隔20s运行一次,另一个是 blog.tasks.minus 函数,每天晚上 23点15分执行一次.
我们首先还是运行 beat 和 worke,然后在 python3 manage.py shell 中执行下面的代码:
import json
from django_celery_beat.models import IntervalSchedule, CrontabSchedule, PeriodicTask
twenty_second_interval, _ = IntervalSchedule.objects.get_or_create(every=20, period=IntervalSchedule.SECONDS)
eleven_clock_crontab, _ = CrontabSchedule.objects.get_or_create(minute=18, hour=23)
PeriodicTask.objects.get_or_create(
interval_id=twenty_second_interval.id,
name="twenty_second_interval",
task="blog.tasks.add",
args=json.dumps([1, 2]),
)
PeriodicTask.objects.get_or_create(
crontab_id=eleven_clock_crontab.id,
name="eleven_clock_crontab",
task="blog.tasks.minus",
args=json.dumps([8, 2]),
)
然后可以看到运行 beat 的 shell 中或者日志文件有输出下面的信息:
DatabaseScheduler: Schedule changed.
其实就是系统监测了 PeriodicTask 表,发现它的数据有变化就会重新更改一次,当 beat 服务启动,系统会去 PeriodicTask 表里获取数据.
如果这些任务的数据有更改,系统就会检测到然后发出 Schedule changed 的信息.
我这边测试了 name、enabled、one_off、args 等字段,发现修改后系统都会捕获到任务的变化.
其中,one_off 字段的含义是该任务仅执行一次.
如果想获取更多后端相关文章,可扫码关注阅读:
最后此篇关于celery笔记八之数据库操作定时任务的文章就讲到这里了,如果你想了解更多关于celery笔记八之数据库操作定时任务的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我对开发领域有点陌生,我正在开发一个 Android 项目。我正在尝试使用手机相机闪光灯。我试图让它以重复的 Action 闪烁。下面是我的 .java 文件中的一个剪辑。 public vo
我正在制作一个 ios 应用程序,它是一种诗集。我想要的功能之一是定时“阅读”,因此一首诗中的单词出现的时间与我阅读时的时间相同。所以我有一个数组,里面有诗中的词,还有延迟。 现在我想遍历单词,在屏幕
这个问题在这里已经有了答案: Loop doesn't see value changed by other thread without a print statement (1 个回答) 关闭
我如何才能使用计时器?例如,我想显示某个文本 10 秒,然后我想在剩余时间内显示不同的文本。 谢谢 凯文 最佳答案 延迟操作的最简单方法是使用 NSObject 的 PerformSelector:w
我在这里的措辞上有点困难,但要点是我使用返回一个对象的 Promise.race (如下所示)。大多数时候,至少有一些 promise 会崩溃,但这是故意的。这仅意味着未找到产品。为了避免 Promi
我正在寻找定时 JDialog,它会在指定时间过后消失,并且找到的代码运行正常。 JFrame f = new JFrame(); final JDia
我试图让选择器在不同的时间轮换,我想我会尝试一个简单的 if/else 语句,让第一个选择器在 3 秒后轮换,接下来的选择器在 30 秒后轮换。然而,它只是每三秒旋转一次。如果我想出了如何完成这项工作
这个问题已经有答案了: How to implement a timer in c? (7 个回答) Creating a Timer in C (2 个回答) 已关闭 9 年前。 我需要根据用户输入
我有一个在我文档的 head 标签中调用的 javascript 文件,每隔 30 秒,我希望重新加载这个 javascript 文件。 我对此做了一些研究,似乎它在提取本地存储的文件副本或跨浏览器问
我想看看运行 bash 函数需要多长时间。在做了一些研究之后,我想出了这种使用子 shell 的方法: function test-function() { time ( rs
我正在使用 jQuery,并且我有一个 aAax 请求,如下所示; $.ajax({ type: 'POST', url: 'test.php',
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 要求提供代码的问题必须表现出对所解决问题的最低限度的了解。包括尝试的解决方案、为什么它们不起作用以及预期结果
我想为系统的每笔交易制定一个程序任务,以预留15分钟的等待时间。如果超过15分钟,程序将改变状态/状态。如果状态在 15 分钟内发生变化,则结束任务。我可以应用更多更好的代码吗?比如Wait/Slee
我正在制作一个打字速度测试程序,它有一个循环需要运行 60 秒然后退出并显示结果。我读过其他关于为 C++ 程序计时的地方,但我的研究没有定论。该程序正在运行 (llbd),我希望有人有解决方案/更好
我试图在一个简单的游戏中每 0.5 - 2 秒随机创建一个障碍。我已经有了创建障碍的功能,但我无法为实例化计时。我试过研究这个,但我还没有想出任何相关的东西。你们能帮帮我吗? 最佳答案 您可以使用 p
我有以下测试,在运行特别长的 fib 断言时不会失败。 未正确失败的测试 #!/usr/env/bin python2.7 import unittest from fib import fib fr
我想知道这是否可行。有没有一种方法可以使用 PHP 每 24 小时更新一次行的值。为什么?我正在创建一个使用在线货币(称为 Yads)的 child 网站。 Row 的值是用户拥有的 Yad 数量。
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 要求提供代码的问题必须表现出对所解决问题的最低限度理解。包括尝试过的解决方案、为什么它们不起作用,以及预
有 Cron API 这样的东西吗? 我的意思是,是否有一种编程方式可以在不影响 Cron 的情况下添加/删除 Cron 作业? 最佳答案 UNIX cron 的 API 是文件系统。有一个用于安装/
1、SpringBoot:集成Swagger终极版 学习目标: 了解Swagger的概念及作用 掌握在项目中集成Swagger自动生成API文档 1.1、Sw
我是一名优秀的程序员,十分优秀!