python - 为什么 `celery.current_app` 引用 Flask View 函数中的默认实例

Question

我并没有尝试在 View 函数中使用 celery.current_app，但是我有一个挂接到 after_task_publish 信号的函数，该信号使用它来更新状态发布任务后，它在 Flask View 函数之外工作并正确更新状态，但是当我从 View 函数内部发送任务时，任务状态不会更新，我检查了一下，问题是 current_app.backend 是 DisabledBackend 的一个实例，它是默认的，而不是我正在使用的 RedisBackend 的一个实例。

发生这种情况是因为在 Flask View 函数中，当前 Celery 实例 celery.current_app 的代理指的是在没有当前 Celery 实例时创建的默认实例。

我尝试重现正在发生的事情，这是一个测试脚本:

from __future__ import absolute_import, print_function, unicode_literals

from flask import Flask, request

from celery import Celery, current_app
from celery.signals import after_task_publish
# internal module for debugging purposes
from celery._state import default_app, _tls


# the flask application
flask_app = Flask(__name__)

# the celery application
celery_app = Celery('tasks', broker='amqp://', backend='redis://')

# debugging info
debug = """
[{location}]
celery_app       = {celery_app}
current_app      = {current_app}
add.app          = {add_app}
default_app      = {default_app}
_tls.current_app = {tls_current_app}
"""

print(debug.format(
    location = 'OUTSIDE VIEW',
    celery_app = celery_app,
    current_app = current_app,
    add_app = add.app,
    default_app = default_app,
    tls_current_app = _tls.current_app
))


# fired after a task is published
@after_task_publish.connect
def after_publish(sender=None, body=None, **kwargs):
    print(debug.format(
        location = 'INSIDE SIGNAL FUNCTION',
        celery_app = celery_app,
        current_app = current_app,
        add_app = add.app,
        default_app = default_app,
        tls_current_app = _tls.current_app
    ))

# a simple task for testing
@celery_app.task(name='add')
def add(a, b):
    return a + b


@flask_app.route('/add')
def add_view():
    print(debug.format(
        location = 'INSIDE VIEW',
        celery_app = celery_app,
        current_app = current_app,
        add_app = add.app,
        default_app = default_app,
        tls_current_app = _tls.current_app
    ))

    a = request.args.get('a')
    b = request.args.get('b')

    task = add.delay(a, b)

    return task.task_id


if __name__ == '__main__':
    flask_app.run(debug=True)

这是输出:

[OUTSIDE VIEW]
celery_app       = <Celery tasks:0xb69ede4c>
current_app      = <Celery tasks:0xb69ede4c>
add.app          = <Celery tasks:0xb69ede4c>
default_app      = None
_tls.current_app = <Celery tasks:0xb69ede4c>


[INSIDE VIEW]
celery_app       = <Celery tasks:0xb69ede4c>
current_app      = <Celery default:0xb6b0546c>
add.app          = <Celery tasks:0xb69ede4c>
default_app      = None
_tls.current_app = None   # making current_app fallback to the default instance


[INSIDE SIGNAL FUNCTION]
celery_app       = <Celery tasks:0xb69ede4c>
current_app      = <Celery default:0xb6a174ec>
add.app          = <Celery tasks:0xb69ede4c>
default_app      = None
_tls.current_app = None

因为 _tls.current_app 在 View 中是 None，这就是 celery.current_app 引用默认实例的原因，来自 celery._state._get_current_app :

return _tls.current_app or default_app

_tls 是 celery._state._TLS 的实例:

class _TLS(threading.local):
    #: Apps with the :attr:`~celery.app.base.BaseApp.set_as_current` attribute
    #: sets this, so it will always contain the last instantiated app,
    #: and is the default app returned by :func:`app_or_default`.
    current_app = None

问题与线程相关吗？这可能是一个错误吗？还是这是预期的行为？

请注意，我可以在我的钩子(Hook)函数中使用实际的 celery 实例，一切都会正常工作，但我担心在其他地方使用的 celery.current_app 会破坏我的代码。

Answer 1

我在未启用调试的情况下运行 Flask 应用程序时发现了问题，并且它没有任何问题地工作，当 debug 为 True 时，使用重新加载程序运行应用程序另一个线程，这发生在 werkzeug._reloader.run_with_reloader 函数中。

并且取决于 Python docs关于 threading.local 类，它被子类化以存储当前应用程序实例:

A class that represents thread-local data. Thread-local data are data whose values are thread specific.

The instance’s values will be different for separate threads.

所以这意味着 celery._state._tls.current_app 不在线程之间共享，我们必须手动将 celery 实例设置为当前应用程序，例如在 View 函数中:

celery_app.set_current()