python - Django/WSGI 应用程序中的持久数据库连接

Question

我想在 django 驱动的 Web 应用程序中保持与第三方遗留数据库的持久连接。

我想保持网络应用和旧数据库之间的连接打开，因为对于这个特殊的数据库来说，创建新连接非常慢。

这与通常的连接池不同，因为我需要存储每个 Web 用户的连接。用户“Foo”需要在 Web 服务器和旧版数据库之间建立自己的连接。

到目前为止，我使用 Apache 和 wsgi，但如果其他解决方案更合适，我可以更改。

到目前为止，我使用 django。在这里我也可以改变。但是痛苦会更大，因为已经有很多代码需要再次集成。

到目前为止，我使用 Python。我想 Node.js 更适合这里，但改变的痛苦太高了。

当然需要某种超时。如果 N 分钟内没有来自用户“Foo”的 http-request，则需要关闭持久连接。

如何解决？

更新

我称之为DB，但它不是通过settings.DATABASES 配置的DB。这是一个奇怪的、遗留的、不广泛传播的类似 DB 的系统，我需要集成。

如果此时我有 50 个人在线使用 Web 应用程序，那么我需要有 50 个持久连接。每个用户一个。

连接数据库的代码

我可以在每个请求中执行这一行:

strangedb_connection = strangedb.connect(request.user.username)

但是这个操作很慢。使用连接速度很快。

当然 strangedb_connection 不能被序列化并且不能存储在 session 中:-)

Answer 1

管理连接的工作守护进程

您的图片目前看起来像:

user  ----------->  webserver  <--------[1]-->  3rd party DB

connection [1] is expensive.

你可以解决这个问题:

user ---->  webserver  <--->  task queue[1]  <--->  worker daemon  <--[2]-> 3rd party DB

[1] task queue can be redis, celery or rabbitmq.
[2] worker daemon keeps connection open.

工作守护进程会连接到第 3 方数据库并保持连接打开。这意味着每个请求都不必支付连接费用。任务队列将是进程间通信，将工作分派(dispatch)给守护进程并在第 3 方数据库中执行查询。网络服务器在处理方面应尽可能轻，并让工作人员完成昂贵的任务。

使用 apache + modwsgi 预加载

您实际上可以 preload 并在第一次请求之前完成昂贵的连接。这是通过 WSGIImportScript configuration directive 完成的。 .我不记得有预加载+ fork 配置是否意味着每个请求都已经打开连接并共享它；但由于您拥有大部分代码，这可能是一个简单的实验。

使用 uwsgi 预加载

uwsgi 也支持预加载。这是通过 the import directive 完成的。 .