python - Celery worker 卡在 ZEO 数据库访问上(竞争条件？)

Question

问题

Celery 工作人员在使用访问 ZEO 服务器的包时挂起任务执行。但是，如果我直接在 tasks.py 中访问服务器，则完全没有问题。

背景

我有一个程序可以读写 ZODB文件。因为我希望多个用户能够同时访问和修改该数据库，所以我将其管理为 ZEO server ，这应该使其跨多个进程和线程安全。我在程序的一个模块中定义数据库:

from ZEO import ClientStorage
from ZODB.DB import DB

addr = 'localhost', 8090
storage = ClientStorage.ClientStorage(addr, wait=False)
db = DB(storage)

中南合作中心

我显然正在尝试更复杂的操作，但假设我只想要根对象或其子对象的键。我可以在这种情况下产生问题。

我用模块 databases.py 中的上述代码创建了 dummy_package，还有一个用于执行数据库访问的基本模块:

# main.py

def get_keys(dict_like):
    return dict_like.keys()

---

如果我不尝试使用 dummy_package 进行任何数据库访问，我可以导入数据库并毫无问题地访问 root:

# tasks.py
from dummy_package import databases

@task()
def simple_task():

    connection = databases.db.open()
    keys = connection.root().keys()
    connection.close(); databases.db.close()
    return keys  # Works perfectly

但是，尝试传递连接或 root 的子节点会使任务无限期挂起。

@task()
def simple_task():
    connection = databases.db.open()
    root = connection.root()
    ret = main.get_keys(root)  # Hangs indefinitely
    ...

如果有什么不同的话，这些 Celery 任务由 Django 访问。

问题

那么，首先，这里发生了什么？以这种方式访问​​ ZEO 服务器是否会导致某种竞争条件？

我可以让所有数据库访问由 Celery 负责，但这会导致代码难看。此外，它会破坏我的程序作为独立程序运行的能力。不能在 Celery worker 调用的例程中与 ZEO 交互吗？

Answer 1

不要将打开的连接或其根对象保存为全局对象。

每个线程都需要一个连接；仅仅因为 ZEO 使多线程访问成为可能，听起来您正在使用非线程本地的东西(例如 databases.py 中的模块级全局)。

将数据库保存为全局数据库，但在每个任务期间调用 db.open()。参见 http://zodb.readthedocs.org/en/latest/api.html#connection-pool