django - Django 1.7、uwsgi 和 PostgreSQL 的随机数据库错误

Question

将我的 Django 1.6 应用程序升级到 Django 1.7 后，我开始在从 PostgreSQL 获取数据时遇到随机错误:

DatabaseError: server sent data ("D" message) without prior row description ("T" message)
lost synchronization with server: got message type "�", length -1244613424

DatabaseError: lost synchronization with server: got message type "0", length 842674226

ProgrammingError: no results to fetch

ValueError: invalid literal for int() with base 10: 'feuj3f47jvsdv7tgnj43g63j'

当我在浏览器中快速打开 10 个选项卡时，一半选项卡正常加载，一半出现数据库错误。当我刷新发生错误的选项卡时，它们会正常加载。

我通过uwsgi和nginx运行Django，psycopg2的版本是2.5.4。

总的来说，与 Postgres 的通信似乎完全中断，不同查询的结果混杂在一起。

---

编辑:

经过几个小时的故障排除后，我发现了以下内容:

Django 1.6 + uwsgi - 有效
Django 1.7 + gunicorn - 有效
Django 1.7 + uwsgi - 不工作，抛出数据库错误。所以问题似乎特别是 uwsgi 和 Django 1.7 组合。这很奇怪，我有另一个 Django 1.7 项目在同一台服务器上运行，具有相同的 uwsgi，它没有问题。

有什么想法吗？

(我真的不介意切换到 gunicorn，可能不得不这样做，但为什么会这样仍然很有趣)

---

更新 2:仔细检查显示 Django 内部发生了完全疯狂的事情，比如模型的主键被当前用户的 session_id 替换(这是“invalid literal for int() with base 10”错误的来源)和 Django 发出查询到数据库“忘记”指定 WHERE 子句。我可能会称之为某种内存损坏。

---

更新 3:我们从 uwsgi 切换到 gunicorn，现在问题都消失了。一切都很好。不过，我可能仍在寻找合适的解决方案。

Answer 1

我认为 lazy-apps=true 应该可以解决问题。来自 uwsgi 文档:

uWSGI tries to (ab)use the Copy On Write semantics of the fork() call whenever possible. By default it will fork after having loaded your applications to share as much of their memory as possible. If this behavior is undesirable for some reason, use the lazy-apps option. This will instruct uWSGI to load the applications after each worker’s fork(). Beware as there is an older options named lazy that is way more invasive and highly discouraged (it is still here only for backward compatibility)

如果您不打开 lazy-apps，worker 将共享内存，并且很可能会破坏它:

a model's primary key being substituted with current user's session_id.

当涉及到连接和其他东西时，不设置 lazy-apps 是危险的。

缺点是每个工作人员都会有一个完整的连接池(如果正在使用连接池)，您最终可能会使用大量连接。

我不是 Python 专家，但我认为使用类似 gevent 的东西以集中方式处理连接池。您甚至可能不需要 lazy-apps。