python - Django:批量操作

Question

业务:
我遇到了一个问题——当使用 Django ORM 操作大型数据集时，规范的方法是操作每个元素。但是当然这种方式是非常低效的。所以我决定使用原始 SQL。

物质:
我有一个构成 SQL 查询的基本代码，它更新表的行并提交它:

from myapp import Model
from django.db import connection, transaction
COUNT = Model.objects.count()
MYDATA = produce_some_differentiated_data() #Creating individual value for each row
cursor = connection.cursor()
str = []
for i in xrange(1, COUNT):
    str.append("UPDATE database.table\n"
               "SET field_to_modify={}\n"
               "WHERE primary_key_field={};\n".format(MYDATA, i))


str = ''.join(str)
cursor.execute(str)
transaction.commit_unless_managed() #This cause exception

在最后一条语句中我得到了这个，即使 SIZE 很小:

_mysql_exceptions.ProgrammingError: (2014, "Commands out of sync; you can't run this command now")

也许 Django 不允许一次执行多个 SQL 查询？

附言在提交前关闭游标有助于避免异常，但这是正确的吗？

我的期望:
我正在寻找批量操作的所有可能的可靠解决方案(最好在 Django 内部)。我不关心它是 ORM 还是原始 SQL，如果我能避免错误，我会支持上面粘贴的代码。如果没有解决方案，至少出于好奇，了解此异常的原因会很好。

除了答案我还学到了什么:
在 Django 1.4 中引入了 bulk_create , 用于高效的多个 INSERT 操作

Answer 1

Django 1.4+ 在它的 ORM 中对批量操作有相当不错的支持，你应该看看你是否可以使用它——它是最便携的方式，也非常好用。

它不仅允许为所有对象中的字段更新相同的值(这是微不足道的)，还允许基于其他字段更新字段值以及执行一些有限的计算。我不确定它是否符合您的需要(取决于“produce_some_differentiated_data”的工作方式)-您可以进行一些计算，其中一些可能不会。一些例子:

image_id_list = [1,5,6]
Image.objects.filter(image_id__in=image_id_list).
     update(views_number=F('views_number') + 1)

上面的例子会转换成类似如下的SQL:

UPDATE image SET views_number = views_number + 1 WHERE image_id IN (1,5,6);

这是执行批量更新最快的方法 - 比运行多个查询快得多。在单个 SQL 语句中运行多个查询并不能真正提高操作速度。改进它的是像上面这样同时对多行进行操作的单个查询。您可以在更新语句中构建相当复杂的公式，因此如果您的“produce_some_differentiated_data”方法可以用这种方式表达，那将是最好的。即使不能直接完成，您也可以对模型进行一些修改并添加一些额外的字段来实现。如果经常执行此类批量操作，这可能会有所返回。

来自 Django 的文档:

Django supports the use of addition, subtraction, multiplication, division and modulo arithmetic with F() objects, both with constants and with other F() objects.

更多相关信息: https://docs.djangoproject.com/en/dev/topics/db/queries/#updating-multiple-objects-at-once