python - 如果参数和任务名称已经在服务器中排队，是否可以跳过委派 celery 任务？

Question

假设我有这个任务:

def do_stuff_for_some_time(some_id):
    e = Model.objects.get(id=some_id)
    e.domanystuff()

我是这样使用它的:

do_stuff_for_some_time.apply_async(args=[some_id], queue='some_queue')

我面临的问题是，有很多具有相同 arg 参数的重复性任务，这让队列陷入困境。

只有当相同的参数和相同的任务不在队列中时才可以应用异步吗？

Answer 1

celery-singleton解决了这个需求

警告:需要 redis 代理(用于分布式锁)

pip install celery-singleton

使用Singleton任务基类:

from celery_singleton import Singleton

@celery_app.task(base=Singleton)
def do_stuff_for_some_time(some_id):
    e = Model.objects.get(id=some_id)
    e.domanystuff()

来自文档:

calls to do_stuff.delay() will either queue a new task or return an AsyncResult for the currently queued/running instance of the task