docker - 多个 Docker 容器和 Celery

Question

我们现在的项目结构如下:

1. 处理来自客户端的传入请求的网络服务器。
2. 向用户提供一些建议的分析模块。

我们决定让这些模块完全独立，并将它们移动到不同的 docker 容器中。当来自用户的查询到达网络服务器时，它会向分析模块发送另一个查询以获取建议。

为了使建议保持一致，我们需要定期进行一些后台计算，例如，当新用户在我们的系统中注册时。此外，一些后台任务纯粹与 Web 服务器逻辑相关联。为此，我们决定使用分布式任务队列，例如 Celery。

任务创建和执行的可能场景如下:

1. 在网络服务器上排队的任务，在网络服务器上执行(例如，处理上传的图像)
2. 在网络服务器上排队的任务，在分析模块中执行(例如，为新用户计算推荐)
3. 在分析模块中排队并在那里执行的任务(例如，定期更新)

到目前为止，我在这里看到了使用 Celery 的 3 种相当奇怪的可能性:

我。 celery 放在单独的容器里，什么都做

1. 将 Celery 移动到单独的 docker 容器中。
2. 提供来自网络服务器和分析的所有必要包以执行任务。
3. 与其他容器共享任务代码(或在网络服务器和分析中声明虚拟任务)

这样，我们放松了隔离，因为功能由 Celery 容器和其他容器共享。

二。 celery 放在单独的容器里，做的少得多

与 I 相同，但任务现在只是对网络服务器和分析模块的请求，它们在那里异步处理，结果在任务内部轮询，直到它准备好。

通过这种方式，我们从拥有代理中受益，但所有繁重的计算都从 Celery 工作人员转移。

三。在每个容器中分开 celery

1. 在网络服务器和分析模块中运行 Celery。
2. 向网络服务器添加(分析任务的)虚拟任务声明。
3. 添加 2 个任务队列，一个用于网络服务器，一个用于分析。

这样，在网络服务器上安排的任务可以在分析模块中执行。但是，仍然需要跨容器共享任务代码或使用虚拟任务，此外，还需要在每个容器中运行 celery worker。

最好的方法是什么，或者应该完全改变逻辑，例如，将所有东西移到一个容器中？

Answer 1

首先，让我们澄清一下 celery 库(通过 pip install 或在 setup.py 中获得)和 celery worker 之间的区别- 这是从代理中取出任务并处理它们的实际过程。当然，您可能想要拥有多个 workers/进程(例如，用于将不同的任务分配给不同的 worker)。

假设您有两个任务:calculate_recommendations_task 和 periodic_update_task，并且您想在单独的工作人员上运行它们，即 recommendation_worker 和 周期性工作人员。另一个进程将是 celery beat，它只是每 x 小时将 periodic_update_task 排入代理。

此外，假设您有一个简单的 Web 服务器，使用 bottle 实现。 .

我假设你也想在 docker 中使用 celery 代理和后端，我会选择 celery 的推荐用法 - RabbitMQ作为经纪人和Redis作为后端。

所以现在我们有 6 个容器，我将它们写在 docker-compose.yml 中:

version: '2'
services:
  rabbit:
    image: rabbitmq:3-management
    ports:
      - "15672:15672"
      - "5672:5672"
    environment:
      - RABBITMQ_DEFAULT_VHOST=vhost
      - RABBITMQ_DEFAULT_USER=guest
      - RABBITMQ_DEFAULT_PASS=guest
  redis:
    image: library/redis
    command: redis-server /usr/local/etc/redis/redis.conf
    expose:
      - "6379"
    ports:
      - "6379:6379"
  recommendation_worker:
    image: recommendation_image
    command: celery worker -A recommendation.celeryapp:app -l info -Q recommendation_worker -c 1 -n recommendation_worker@%h -Ofair
  periodic_worker:
    image: recommendation_image
    command: celery worker -A recommendation.celeryapp:app -l info -Q periodic_worker -c 1 -n periodic_worker@%h -Ofair
  beat:
    image: recommendation_image
    command: <not sure>
  web:
    image: web_image
    command: python web_server.py

构建 recommendation_image 和 web_image 的 dockerfile 都应该安装 celery library。只有 recommendation_image 应该有任务代码，因为工作人员将处理这些任务:

推荐Dockerfile:

FROM python:2.7-wheezy
RUN pip install celery
COPY tasks_src_code..

WebDockerfile:

FROM python:2.7-wheezy
RUN pip install celery
RUN pip install bottle 
COPY web_src_code..

其他图像(rabbitmq:3-management & library/redis 可从 docker hub 获得，它们将在您运行 docker-compose 时自动拉取向上)。

现在是这样:在您的网络服务器中，您可以通过字符串名称触发 celery 任务并通过任务 ID 提取结果(无需共享代码)web_server.py:

import bottle
from celery import Celery
rabbit_path = 'amqp://guest:guest@rabbit:5672/vhost'
celeryapp = Celery('recommendation', broker=rabbit_path)
celeryapp.config_from_object('config.celeryconfig')

@app.route('/trigger_task', method='POST')
def trigger_task():
    r = celeryapp.send_task('calculate_recommendations_task', args=(1, 2, 3))
    return r.id

@app.route('/trigger_task_res', method='GET')
def trigger_task_res():
    task_id = request.query['task_id']
    result = celery.result.AsyncResult(task_id, app=celeryapp)
    if result.ready():
        return result.get()
    return result.state

最后一个文件config.celeryconfig.py:

CELERY_ROUTES = {
    'calculate_recommendations_task': {
        'exchange': 'recommendation_worker',
        'exchange_type': 'direct',
        'routing_key': 'recommendation_worker'
    }
}
CELERY_ACCEPT_CONTENT = ['pickle', 'json', 'msgpack', 'yaml']