gpt4 book ai didi

django - 如何使用 Celery 和 Django 将任务路由到不同的队列

转载 作者:行者123 更新时间:2023-12-04 11:09:27 24 4
gpt4 key购买 nike

我正在使用以下堆栈:

  • Python 3.6
  • Celery v4.2.1 (代理: RabbitMQ v3.6.0 )
  • Django v2.0.4 .

  • 根据 Celery's documentation ,在不同的队列上运行计划任务应该就像在 上为任务定义相应的队列一样简单。 CELERY_ROUTES ,尽管如此,所有任务似乎都在 Celery 的默认队列上执行。

    这是 上的配置my_app/settings.py :
    CELERY_BROKER_URL = "amqp://guest:guest@localhost:5672//"
    CELERY_ROUTES = {
    'app1.tasks.*': {'queue': 'queue1'},
    'app2.tasks.*': {'queue': 'queue2'},
    }
    CELERY_BEAT_SCHEDULE = {
    'app1_test': {
    'task': 'app1.tasks.app1_test',
    'schedule': 15,
    },
    'app2_test': {
    'task': 'app2.tasks.app2_test',
    'schedule': 15,
    },

    }

    这些任务只是用于测试路由的简单脚本:

    文件 app1/tasks.py :
    from my_app.celery import app
    import time


    @app.task()
    def app1_test():
    print('I am app1_test task!')
    time.sleep(10)

    文件 app2/tasks.py :
    from my_app.celery import app
    import time


    @app.task()
    def app2_test():
    print('I am app2_test task!')
    time.sleep(10)

    当我使用所有必需的队列运行 Celery 时:
    celery -A my_app worker -B -l info -Q celery,queue1,queue2

    RabbitMQ 将显示只有默认队列“ celery ”正在运行任务:
    sudo rabbitmqctl list_queues
    # Tasks executed by each queue:
    # - celery 2
    # - queue1 0
    # - queue2 0

    有人知道如何解决这种意外行为吗?

    问候,

    最佳答案

    我已经让它工作了,这里有几件事需要注意:
    根据 Celery's 4.2.0 documentation , CELERY_ROUTES应该是定义队列路由的变量,但它只适用于我使用 CELERY_TASK_ROUTES反而。任务路由似乎独立于 Celery Beat,因此这仅适用于手动安排的任务:

    app1_test.delay()
    app2_test.delay()
    或者
    app1_test.apply_async()
    app2_test.apply_async()
    为了让它与 Celery Beat 一起工作,我们只需要在 CELERY_BEAT_SCHEDULE 中明确定义队列。多变的。文件的最终设置 my_app/settings.py如下:
    CELERY_BROKER_URL = "amqp://guest:guest@localhost:5672//"
    CELERY_TASK_ROUTES = {
    'app1.tasks.*': {'queue': 'queue1'},
    'app2.tasks.*': {'queue': 'queue2'},
    }
    CELERY_BEAT_SCHEDULE = {
    'app1_test': {
    'task': 'app1.tasks.app1_test',
    'schedule': 15,
    'options': {'queue': 'queue1'}
    },
    'app2_test': {
    'task': 'app2.tasks.app2_test',
    'schedule': 15,
    'options': {'queue': 'queue2'}
    },

    }
    我希望这可以为其他开发人员节省一些时间。

    关于django - 如何使用 Celery 和 Django 将任务路由到不同的队列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51631455/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com