python - 如何强制 Django 忽略任何缓存并重新加载数据？

Question

我正在使用来自未从 HTTP 请求调用的进程的 Django 数据库模型。该过程应该每隔几秒钟轮询一次新数据并对其进行一些处理。我有一个循环休眠几秒钟，然后从数据库中获取所有未处理的数据。

我看到的是，在第一次提取之后，该进程再也看不到任何新数据。我进行了一些测试，看起来 Django 正在缓存结果，尽管我每次都在构建新的 QuerySet。为了验证这一点，我从 Python shell 中执行了此操作:

>>> MyModel.objects.count()
885
# (Here I added some more data from another process.)
>>> MyModel.objects.count()
885
>>> MyModel.objects.update()
0
>>> MyModel.objects.count()
1025

如您所见，添加新数据不会改变结果计数。但是，调用管理器的 update() 方法似乎可以解决问题。

我找不到关于该 update() 方法的任何文档，也不知道它可能会做什么其他坏事。

我的问题是，为什么我会看到这种缓存行为，这与 Django docs 的内容相矛盾说？以及如何防止它发生？

Answer 1

遇到这个问题并找到了两个明确的解决方案，我认为值得发布另一个答案。

这是 MySQL 默认事务模式的问题。 Django 在开始时会打开一个事务，这意味着默认情况下您不会看到数据库中所做的更改。

这样展示

在终端 1 中运行 django shell

>>> MyModel.objects.get(id=1).my_field
u'old'

另一个在 2 号航站楼

>>> MyModel.objects.get(id=1).my_field
u'old'
>>> a = MyModel.objects.get(id=1)
>>> a.my_field = "NEW"
>>> a.save()
>>> MyModel.objects.get(id=1).my_field
u'NEW'
>>> 

回到终端 1 来演示问题 - 我们仍然从数据库中读取旧值。

>>> MyModel.objects.get(id=1).my_field
u'old'

现在在终端1演示解决方案

>>> from django.db import transaction
>>> 
>>> @transaction.commit_manually
... def flush_transaction():
...     transaction.commit()
... 
>>> MyModel.objects.get(id=1).my_field
u'old'
>>> flush_transaction()
>>> MyModel.objects.get(id=1).my_field
u'NEW'
>>> 

现在读取新数据

这是带有文档字符串的易于粘贴 block 中的代码

from django.db import transaction

@transaction.commit_manually
def flush_transaction():
    """
    Flush the current transaction so we don't read stale data

    Use in long running processes to make sure fresh data is read from
    the database.  This is a problem with MySQL and the default
    transaction mode.  You can fix it by setting
    "transaction-isolation = READ-COMMITTED" in my.cnf or by calling
    this function at the appropriate moment
    """
    transaction.commit()

另一种解决方案是更改my.cnf for MySQL以更改默认事务模式

transaction-isolation = READ-COMMITTED

请注意，这是 Mysql 的一个相对较新的功能，并且有 some consequences for binary logging / slaving .如果你愿意，你也可以把它放在 django 连接序言中。

3 年后更新

现在 Django 1.6 有 turned on autocommit in MySQL这不再是一个问题。上面的示例现在可以在没有 flush_transaction() 代码的情况下正常工作，无论您的 MySQL 是在 REPEATABLE-READ (默认)还是 READ-COMMITTED 事务隔离模式。

在以非自动提交模式运行的以前版本的 Django 中发生的情况是第一个 select 语句打开了一个事务。由于 MySQL 的默认模式是 REPEATABLE-READ，这意味着后续的 select 语句不会读取数据库更新 - 因此需要 flush_transaction() 上面的代码停止事务并开始新的事务。

尽管如此，您可能仍需要使用 READ-COMMITTED 事务隔离的原因。如果您要将终端 1 放入事务中，并且希望查看终端 2 的写入，则需要 READ-COMMITTED。

flush_transaction() 代码现在会在 Django 1.6 中产生弃用警告，因此我建议您将其删除。