django - celery 任务 .get() 不工作

Question

我将非常感谢对此的帮助!

这是我第一次尝试在 Docker 容器中将 Celery 与 Django 结合使用，经过数小时的阅读和试​​验，我无法解决这个问题。

问题

我可以从 polls.task 导入任务并使用 .delay() 运行它，如下所示:

python manage.py shell
from polls.tasks import add
task = add.delay(4,4)

当我运行它时，我可以通过 rabbitmq 容器看到一条消息。

如果我执行task.id，我可以获得任务id。

但是，如果我运行 task.get()，程序就会挂起。我没有看到对任何容器采取任何行动，也没有得到任何结果。

我还注意到，当我运行 dc-up 并启动​​所有容器时，我在工作容器上得到以下输出，这似乎是正确的，包括能够看到我的任务已注册:

worker      |  -------------- default@5d0902ad9e2a v4.1.0 (latentcall)
worker      | ---- **** ----- 
worker      | --- * ***  * -- Linux-4.9.87-linuxkit-aufs-x86_64-with-debian-8.10 2018-03-30 09:45:01
worker      | -- * - **** --- 
worker      | - ** ---------- [config]
worker      | - ** ---------- .> app:         composeexample:0x7f2f3255e320
worker      | - ** ---------- .> transport:   amqp://admin:**@rabbitmq:5672//
worker      | - ** ---------- .> results:     redis://redis:6379/0
worker      | - *** --- * --- .> concurrency: 2 (prefork)
worker      | -- ******* ---- .> task events: ON
worker      | --- ***** ----- 
worker      |  -------------- [queues]
worker      |                 .> default          exchange=default(direct) key=default
worker      | 
worker      | [tasks]
worker      |   . polls.tasks.add
worker      | [2018-03-30 10:45:34,722: INFO/MainProcess] Connected to amqp://admin:**@rabbitmq:5672//
worker      | [2018-03-30 10:45:34,746: INFO/MainProcess] mingle: searching for neighbors
worker      | [2018-03-30 10:45:35,799: INFO/MainProcess] mingle: all alone
worker      | [2018-03-30 10:45:35,827: INFO/MainProcess] default@a7d75a442646 ready.

我怀疑我缺少 rabbitmq 和 worker 之间的某种形式的通信。我还想知道我是否只是错误地启动了工作人员，或者根本没有。我真的不知道。

我仔细检查了我的环境变量是否在 django 和 worker 容器中设置。

设置

我在 Docker 中有以下设置:Django、Redis(用于后端)、RabbitMQ(用于消息)、PSQL、Celery( worker 的单独容器)

这是我的 Dockerfile:

FROM python:3
ENV PYTHONUNBUFFERED 1

ADD requirements.txt /code/

WORKDIR /code/

RUN apt-get update && apt-get install -y \
    sudo \
    git

RUN pip install --upgrade pip && pip install -r requirements.txt

# create unprivileged user
RUN adduser --disabled-password --gecos '' myuser

这是我的 docker-compose.yml:

version: '3'

services:
  dbtest:
    image: postgres:10.1
    container_name: postgrestest
    expose:
      - "5432"
    volumes:
      - postgres_data:/var/lib/postgresl/data/
    networks:
      - lofi
  redis:
    image: redis:4.0.8
    container_name: redis
    networks:
      - lofi
  rabbitmq:
    image: rabbitmq:3.7.4
    container_name: rabbitmq
    env_file: .env
    ports:
      - "5672:5672"  # we forward this port because it's useful for debugging
      - "15672:15672"  # here, we can access rabbitmq management plugin
    networks:
      - lofi
  django:
    container_name: djcelerytest
    env_file: .env
    build:
      context: .
      dockerfile: Dockerfile
    command: python manage.py runserver 0.0.0.0:8000
    volumes:
      - .:/code
    ports:
      - "8000:8000"
      - "8888:8888"
    depends_on:
      - dbtest
      - rabbitmq
    networks:
      - lofi
  worker:
    env_file: .env
    build:
      context: .
      dockerfile: Dockerfile
    container_name: worker
    command: sh ./run_celery.sh
    volumes:
      - .:/code
    depends_on:
      - rabbitmq
      - redis
    networks:
      - lofi

networks:
  lofi:

volumes:
  postgres_data:
    external: true

我在 .env 文件中有以下设置，用于设置 Django 和 worker 容器:

CELERY_BROKER_URL=amqp://admin:mypass@rabbitmq//
CELERY_RESULT_BACKEND=redis://redis:6379/0
RABBITMQ_DEFAULT_USER=admin
RABBITMQ_DEFAULT_PASS=mypass

这是 run_celery.sh 文件:

#!/bin/sh

# wait for RabbitMQ server to start
sleep 10

# run Celery worker for our project myproject with Celery configuration stored in Celeryconf
su -m myuser -c "celery worker -E -A composeexample.celeryconf -Q default -n default@%h  --loglevel=INFO"

我要运行的任务在 tasks.py 中:

from composeexample.celeryconf import app
from .models import AddStore

@app.task
def add(x, y):
    value = x + y
    new = AddStore(value=value)
    new.save()
    return value

Answer 1

事实证明，在 run_celery.sh 文件中，我启动 celery worker 的命令包括 -Q default 选项，该选项不再存在到 docs .

所以如果你简单地改变它:

su -m myuser -c "celery worker -E -A composeexample.celeryconf -Q default -n default@%h  --loglevel=INFO"

为此:

su -m myuser -c "celery worker -E -A composeexample.celeryconf -n default@%h  --loglevel=INFO"

我可以毫无问题地调用 task.get()。