gpt4 book ai didi

python - celery 优先队列

转载 作者:IT王子 更新时间:2023-10-29 06:15:40 25 4
gpt4 key购买 nike

好的,我已经搜索了一些有关这个问题的信息,但没有找到太多。
例如,我有一名 worker 和两个不同的任务来源。其中一个是按节拍安排的,每小时开始一个小任务,另一个有大量任务,大约一个月左右会不停地进行。问题是这个小任务永远不会运行,或者会有很大的延迟。
所以,当然我试图将它们分开在不同的队列中,但这没有任何意义,因为它们都是由一个 worker 处理的(两个不同的 worker 没问题,但我的问题不是这样)。我想知道是否有内置机制来为 celery worker 确定队列的优先级。或者,至少我希望有人会向我指出一些关于工作人员如何选择当时必须从哪个队列处理哪个任务的信息。对于一个队列,它似乎是直截了当的、线性的。但是由同一个 worker 处理的不同队列呢?

谢谢

最佳答案

没有任何方法可以确定队列中任务的优先级。 Queue就是队列,celery只能一个接一个地取任务。可能的解决方案是

http://docs.celeryproject.org/en/latest/userguide/routing.html#automatic-routing

您可以启动两个单独的 worker(使用不同的 --queue 选项)。我认为这就足够了。

关于python - celery 优先队列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19264643/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com