- Java锁的逻辑(结合对象头和ObjectMonitor)
- 还在用饼状图?来瞧瞧这些炫酷的百分比可视化新图形(附代码实现)⛵
- 自动注册实体类到EntityFrameworkCore上下文,并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
本文首发于公众号:Hunter后端 原文链接: celery笔记一之celery介绍、启动和运行结果跟踪 。
本篇笔记内容如下:
celery 大致有两种应用场景,一种是异步任务,一种是定时任务.
比如说在一个接口请求中,某个函数执行所需的时间过长,而前端页面并不是立刻需要在接口中获取处理结果,可以将这个函数作为异步任务,先返回给前端处理中的信息,在后台单独运行这个函数,这就是异步任务.
另一个比如说某个函数需要每天晚上运行一遍,不可能人天天守着后台手动执行一遍这个函数,那么就可以用 celery 来实现这个定时的周期任务.
接下来介绍一下 celery 的组成:
task 。
这个任务就是我们前面举的例子的异步任务或者是定时任务,即为 task,我们可以定义这些任务,然后发送到 broker 。
broker 。
broker 可以理解成消息中间件,用于获取异步或者定时任务,形成一个或多个消息队列,然后发送给 worker 处理这些消息 。
broker 的形式可以是 Redis,RabbitMQ 或者其他,这里我们使用 Redis 作为消息中间件 。
worker 。
worker 是处理消息的程序,获取 broker 中的消息,然后在 worker 中执行,然后根据配置决定将处理结果发送到 backend 。
result_backend 。
在 worker 处理完消息之后会有 return 或者没有返回结果,都会根据配置将结果发送出来,可以配置成发送到 redis 中,也可以将之存储到 database 中 。
beat 。
主要用于调用定时任务,根据设定好的定时任务,比如每天晚上十点执行某个函数,beat 则会在相应的时间将这个 task 发送给 broker,然后 worker 获取任务进行处理 。
定时任务除了说的每天晚上十点这种周期任务,也可以是间隔任务,比如说每隔多少秒,多少分钟执行一次 。
注意 :异步任务的发送是不经过 beat 处理,直接发送给 broker 的 。
在上面的结构中,broker 需要将相应的服务比如 redis 运行起来,而 worker 和 beat 需要在手动用程序运行,而且每次更改了定时策略之后需要重新启动 beat 和 worker 才能生效.
接下来我们实现一个最简单的异步任务,在执行异步任务前,我们做如下的准备工作 。
我们需要安装一下 celery 和 redis 的依赖:
pip3 install celery==5.1.2 -i https://mirrors.aliyun.com/pypi/simple/
pip3 install redis==3.5.3 -i https://mirrors.aliyun.com/pypi/simple/
这里我们用到的消息中间件是 redis,可以去官网下载一个 redis 启动,也可以使用 docker 来执行安装.
我在之前的 docker 系列笔记中有介绍过如何拉取镜像和运行容器,我们这里直接使用 docker 来运行:
docker run -itd -p 6379:6379 redis:latest
我们准备一个最简单的 add() 函数,放在 tasks.py 文件中:
# tasks.py
from celery import Celery
app = Celery('tasks', broker='redis://localhost/0', backend='redis://localhost/1')
@app.task
def add(x, y):
return x + y
在这段代码里,我们引入 Celery 模块,并将其实例化为 app,且配置了 broker 参数,表示消息队列都会被放在 redis 的第一个数据库下 。
指定的 backend 参数则表示函数运行的结果被放在 redis 的第二个数据库下 。
然后用 @app.task 修饰 add 函数,表示它是 app 下的 task 任务 。
以上,我们的准备工作就完成了,接下来尝试运行这个异步任务 。
说是 celery 的启动,其实是 worker 的启动,中间件是 redis,已经在前面的步骤中启动了.
我们在 tasks.py 所在的文件夹下执行下面的命令:
celery -A tasks worker -l INFO
在这里,tasks 是我们任务所在的文件名,worker 表示启动的是 worker 程序 。
-l INFO 则会在控制台打印出 worker 接收到的消息详情,如果不执行,则信息流不会被打印出来 。
执行了上面的程序后,可以看到控制台会输出下面这种信息:
-------------- celery@localhost v5.1.2 (sun-harmonics)
--- ***** -----
-- ******* ---- Darwin-21.4.0-x86_64-i386-64bit 2022-07-17 23:56:09
- *** --- * ---
- ** ---------- [config]
- ** ---------- .> app: tasks:0x7fc8ddf3df98
- ** ---------- .> transport: redis://localhost:6379/0
- ** ---------- .> results: disabled://
- *** --- * --- .> concurrency: 12 (prefork)
-- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
--- ***** -----
-------------- [queues]
.> celery exchange=celery(direct) key=celery
[tasks]
. tasks.add
[2022-07-17 23:56:09,685: INFO/MainProcess] Connected to redis://localhost:6379/0
[2022-07-17 23:56:09,699: INFO/MainProcess] mingle: searching for neighbors
[2022-07-17 23:56:10,737: INFO/MainProcess] mingle: all alone
[2022-07-17 23:56:10,780: INFO/MainProcess] celery@localhost ready.
则表示 worker 启动成功 。
执行异步任务 。
在另一个 shell 窗口,进入 python 的交互界面,输入以下命令:
from tasks import add
res = add.delay(1,2)
add 是我们需要执行的异步任务的函数名 。
delay 是异步任务执行的特有方法,这个其实是 apply_async() 函数的简便写法,不带任何参数,apply_async() 除了可以实现异步任务的功能,还可以指定多少时间后执行,比如说二十秒后执行,这个在后面的笔记中我们再介绍.
而异步任务的返回我们这里用 res 来定义,它是一个包含了这个任务所有执行信息对象,有任务状态(是否执行成功),有返回结果(add() 函数的return),还有这个 task 特有的标识 id等信息 。
至此,我们的一个异步任务的执行就完成了,我们可以在下一步查看它的运行结果等信息.
接下来,我们在 tasks.py 中建立下面几个函数,来测试我们对结果的跟踪:
# tasks.py
import time
from celery import Celery
app = Celery('tasks', broker='redis://localhost/0', backend='redis://localhost/1')
@app.task
def add(x, y):
return x + y
@app.task
def div(x, y):
return x / y
@app.task
def test_not_finished():
time.sleep(30)
return True
然后重新运行 worker:
celery -A tasks worker -l INFO
然后引入和执行函数:
from tasks import add, div, test_not_finished
获取延时任务的结果 。
res = add.delay(1, 2)
print(res.result)
# 也可以使用 get()
print(res.get())
get() 函数也可以加个超时的设置:
res.get(timeout=2)
但是这样需要注意,因为如果超时了还未获取到结果,程序就会报错 。
判断函数运行是否完成 。
print(res.ready())
打印出的结果为 True 则表示函数运行完成 。
我们可以测试函数为完成的状态:
res2 = test_not_finished.delay()
在这个函数里,我们设置了 30s 的休眠,所以在 30s 內我们打印结果可以看到 res2.ready() 是为 False 的:
print(res2.ready())
获取task id 。
每个被执行的 task 都有各自对应的 id 作为它们的唯一键:
print(res.id)
查看任务执行的状态 。
# 任务执行是否失败,返回 布尔型数据
is_failed = res.failed()
# 任务执行是否成功,返回布尔型数据
is_successful = res.successful()
# 执行的任务所处的状态
state = res.state
# state 的值会在 PENDING,STARTED,SUCCESS,RETRY,FAILURE 这几种状态中,分别是 待处理中,任务已经开始,成功,重试中,失败
报错处理 。
如果执行的延时任务在程序中报错,比如我们定义的 div() 函数,我们传入的除数为 0 的话,在程序中是会报错的,我们使用 get() 来获取结果的话程序是会报错的:
res3 = div.delay(3, 0)
res3.get()
# 返回会报错
但是我们可以使用 propagate=False 参数来忽略程序的报错
res3.get(propagate=False)
这样我们获取的就不是程序报错,而是程序报错的信息作为结果返回 。
使用 res3.state 发现返回的结果是 FAILURE 。
当延时任务在程序中报错,它的返回值就不会是正确的,我们可以通过 res3.traceback 是否有值来判断函数运行过程中是有报错:
if res3.traceback:
print("延时任务报错")
else:
print("程序正常运行,可以获取返回值")
result资源释放 。
因为 backend 会使用资源来保存和传输结果,为了确保资源被释放,所以在执行完异步任务后,你必须对每一个结果调用 get() 或者 forget() 函数 。
result.get() 函数获取结果 。
result.forget() 在 backend 删掉该数据 。
在官方文档上,意思是 get() 和 forget() 方法都可以释放资源,但是经过我测试,貌似只有 forget() 函数会释放资源 。
查看是否资源被释放也很简单,登录到对应的 backend,我这里是 redis,使用 redis-cli 或者通过 docker 进入 redis:
select 1
keys*
查看相应的 task id 是否还在列表就可以知道该资源是否被释放 。
如果不想手动释放资源,可以在配置里设置一个过期时间,那么结果就会在指定时间段后被释放:
app.conf.update(result_expires=60)
这个我们可以在后面的配置里再详细介绍.
以上就是本篇笔记全部内容,下一篇笔记我们将介绍如何建立一个 celery 项目、配置的几种方法及一些基本的配置.
如果想获取更多后端相关文章,可扫码关注阅读:
最后此篇关于celery笔记一之celery介绍、启动和运行结果跟踪的文章就讲到这里了,如果你想了解更多关于celery笔记一之celery介绍、启动和运行结果跟踪的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
晚上在 QQ 上看到昵称为“乱码”的好友回答了搜搜问问里一个问题: 在VBS中有办法定义字节数组么? 在VBS中有办法定义字节数组么?就是字节子类型数组(VarType是8209的那种)注意不是V
例如,员工管理应用程序可能包括一个EmPloyee 类。然后可以用这个类来创建和维护特定实例,比如Gonn和Sally。 根据预定义的类创建对象常称为类的实例化(class insta
在自然语言中,我们理解抽象的概念是,一个物体的一种大的描述,这种描述对某类物体来说是共有的特性。那么在PHP中也是一样的,我们把一个类进行抽象,可以指明类的一般行为,这个类应该是一个模板,它指示它的
DBA_2PC_PENDING Oracle会自动处理分布事务,保证分布事务的一致性,所有站点全部提交或全部回滚。一般情况下,处理过程在很短的时间内完成,根本无法察觉到。但是,如果在commit或
目录 计算过程 投影分量计算 假设你有一家理发店,已经记录了过去一年中所有顾客的头发长度和发型偏好的数据。现在你想从这些数据中提取一些主要的信息,比如顾客最常
Object.defineProperty函数会直接在一个对象上定义一个新的属性,或者修改一个对象的现有属性,并返回此对象。 一、简单使用 const obj = {} Object.defineP
SPL官网 http://www.scudata.com.cn/ 介绍 业务逻辑经常包含较复杂的流程和计算,同时涉及数据库的读写。由于授权麻烦、影响数据库安全、无法迁移、技术要求高、编写困难等原因,很
SPL官网 http://www.scudata.com.cn/ 介绍 业务逻辑经常包含较复杂的流程和计算,同时涉及数据库的读写。由于授权麻烦、影响数据库安全、无法迁移、技术要求高、编写困难等原因,很
一 点睛 Thrift 是一歀基于 CS 架构的 RPC 框架,最初由 Facebook 研发,2008 年转入 Apache 组织。开发人员可以使用 Thrift 提供的 IDL(接口定义语言)来定
数据库应用程序与主应用程序分开存在,并存储数据集合。 每个数据库都使用一个或多个API来创建,访问,管理,搜索和复制其包含的数据。 数据库还使用非关系数据源,例如对象或文件。 然而,数据库证明是大数
介绍 Ant是一个 Apache 基金会下的跨平台的基于 Java 语言开发的构件工具。在我们详细了解 Apache Ant 之前, 让我们来讲解为什么构建工具是需要最先了解的。 构建工具的需求
我现在正在尝试学习ocaml,并希望从一个小程序开始,生成所有位组合: [“0”,“0”,“0”] [“0”,“0”,“1”] [“0”,“1”,“0”] ... 等等 我的想法是下面的代码: let
我正在做我的介绍 C 类(class)作业,我的任务是执行以下任务...... 为一个函数编写代码,该函数通过值接收两个参数(a 和 b)并通过引用具有另外两个参数(c 和 d)。所有参数都是双倍的。
我希望提供有关我网站内容的快速演示,以及如何在用户访问我的页面后立即以正确的方式使用它们。我希望使用顶部的弹出式窗口进行演示。 我的意思是小信息框,一个接一个地通知用户各个步骤。任何人都可以帮助我如何
与C、Java等语言一样,JavaScript中可以用&&、||、!三个逻辑判断符来对boolean值进行逻辑判断。与C、Java不同的是,JavaScript中逻辑与(&&
JavaScript中,==与===操作符均可用于判断两个值是否相等;不同之处在于,如果进行判断的两个值类型不一致,===操作符会直接返回false,而==操作符则会在类型转换后再进行判断。详细的判
JavaScript中,object转换为boolean的操作非常简单:所有的object转换成boolean后均为true;即使是new Boolean(false)这样的object在转换为bo
在android开发中,当不满足触发条件就按返回键的时候,就要对此进行检测。尤其是当前Activity需要往前一个Activity传送消息时。即Activity1跳转到Activity3如果采用的是
背景 当要求系统启动一个应用程序时,系统会先查找当前命令是否是内部命令,若不是,则在当前目录下查找,如果仍没有找到,则在系统变量 Path 指定的路径去查找。JDK(Java Developmen
概述 想做一个微信的公众平台,阅读了微信官方给的网址接入的示例代码,发现有个问题好像一直都是半知半解的,就是在类里边直接使用$_GET。仔细查了下关于这方面的知识,发现PHP中这部分的基础知识掌握
我是一名优秀的程序员,十分优秀!