gpt4 book ai didi

python - celery :陷入无限重复超时(超时等待 UP 消息)

转载 作者:太空宇宙 更新时间:2023-11-03 15:13:06 30 4
gpt4 key购买 nike

我定义了一些时间限制为 1200 的任务:

@celery.task(time_limit=1200)
def create_ne_list(text):
c = Client()
return c.create_ne_list(text)

每次新进程启动时,我还使用 worker_process_init 信号进行一些初始化:

@worker_process_init.connect
def init(sender=None, conf=None, **kwargs):
init_system(celery.conf)
init_pdf(celery.conf)

这个初始化函数需要几秒钟的时间来执行。

除此之外,我正在使用以下配置:

CELERY_RESULT_SERIALIZER = 'json'
CELERY_TASK_SERIALIZER = 'json'
CELERY_ACCEPT_CONTENT = ['json']
BROKER_URL = 'amqp://'
CELERY_RESULT_BACKEND = 'amqp://'
CELERY_TIMEZONE = 'Europe/Berlin'
CELERY_ENABLE_UTC = True

并使用以下命令启动我的工作程序:

celery -A isc worker -l info --concurrency=3

正如预期的那样,启动 worker 会导致初始化函数被调用 3 次。现在,我可以发送任务并且它们正在执行并且一切似乎都运行顺利。

但是:一旦任务超过其时间限制,worker 就会陷入无限循环,因为超过时间限制而再次产生和被杀死。

[2014-06-13 09:46:18,978: ERROR/MainProcess] Timed out waiting for UP message from <Worker(Worker-20381, started daemon)>
[2014-06-13 09:46:20,000: ERROR/MainProcess] Process 'Worker-20381' pid:18953 exited with 'signal 9 (SIGKILL)'
// new worker 20382 getting started, initialization getting triggerd and soon after that -->
[2014-06-13 09:46:18,978: ERROR/MainProcess] Timed out waiting for UP message from <Worker(Worker-20382, started daemon)>
[2014-06-13 09:46:20,000: ERROR/MainProcess] Process 'Worker-20382' pid:18954 exited with 'signal 9 (SIGKILL)'
// and so on....

有人知道为什么会这样吗?

最佳答案

答案似乎是信号 worker_process_init 要求处理程序不阻塞超过 4 秒。

http://celery.readthedocs.org/en/latest/userguide/signals.html#worker-process-init

因为我的 init 函数执行时间较长,worker 将自动终止。之后它自然重启并再次触发 init 函数,然后导致 worker 再次终止等等。

关于python - celery :陷入无限重复超时(超时等待 UP 消息),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24201066/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com