django-celery - Celery 任务在本地运行时在正常关闭时重新排队进入代理，但尽管配置相同但在 kubernetes 中丢失

Question

我有一个在 k8 pod 中运行的 celery 。这是我的 celery list

apiVersion: apps/v1
kind: Deployment
metadata:
  name: celery
  labels:
    deployment: celery
spec:
  replicas: 2
  selector:
    matchLabels:
      pod: celery
  template:
    metadata:
      labels:
        pod: celery
    spec:
      containers:
        - name: celery
          image: local_celery:latest
          imagePullPolicy: Never
          command: ['celery', '-A', 'proj', 'worker', '-E', '-l', 'info',]
          resources:
            limits:
              cpu: 50m
            requests:
              cpu: 50m

      terminationGracePeriodSeconds: 25

我在 django settings.py 中的 Celery 配置是

CELERY_TASK_ACKS_LATE = True
CELERY_WORKER_PREFETCH_MULTIPLIER = 1
CELERY_BROKER_URL = 'redis://redis:6379'
CELERY_RESULT_BACKEND = 'django-db'
CELERY_WORKER_CONCURRENCY=1
CEELERY_TASK_REJECT_ON_WORKER_LOST=True

当我使用 celery 和 redis 作为消息代理运行一个简单的 django 应用程序时，当我执行 ctrl-C 为工作人员启动热关闭时，我的任务会重新排队到代理中。但是当同一个应用程序部署到 kubernetes 时，celery、django 和 redis 在 3 个不同的 pod 中运行当 celery pod 正常终止时，我的任务不会重新排队回 redis。我无法理解为什么？在这两种情况下，我的 celery 设置都没有改变。

Answer 1

您确定您的 celery worker 正在 kubernetes 上正常关闭吗？

当他们说 k8s 在 pod/container 终止时发送 SIGTERM 信号并且在 terminationgraceperiod 之后发送 SIGKILL 如果pod 仍然存在，k8s 将 SIGTERM 发送到进程 id 1 (PID 1)。因此，如果您的主要 celery 工作进程不是 PID 1，则不会发生正常关闭。如果您没有运行实际的内联 celery 命令并使用 sh/bash 从脚本文件运行，就会发生这种情况。

我们还必须在 pid1 中运行进程时实现信号处理程序。 celery 在我们的例子中显然有。 read more