python - Django QuerySet 与原始查询性能对比

Question

我注意到使用 django connection.cursor 与使用模型接口(interface)之间存在巨大的时间差异，即使是小查询集。我使用 values_list 使模型接口(interface)尽可能高效，因此不会构造任何对象等。下面是测试的两个函数，不要介意西类牙名字。

def t3():
    q = "select id, numerosDisponibles FROM samibackend_eventoagendado LIMIT 1000"
    with connection.cursor() as c:
        c.execute(q)
        return list(c)

def t4():
    return list(EventoAgendado.objects.all().values_list('id','numerosDisponibles')[:1000])

然后使用一个函数来计时(自己用time.clock()制作的)

r1 = timeme(t3); r2 = timeme(t4)

结果如下:0.00180384529631 和 0.00493390727024 用于 t3 和 t4

只是为了确保查询是相同的并执行:

connection.queries[-2::]

产量:

[
    {u'sql': u'select id, numerosDisponibles FROM samibackend_eventoagendado LIMIT 1000',  u'time': u'0.002'},
    {u'sql': u'SELECT `samiBackend_eventoagendado`.`id`, `samiBackend_eventoagendado`.`numerosDisponibles` FROM `samiBackend_eventoagendado` LIMIT 1000', u'time': u'0.002'}
]

如您所见，两个精确查询，返回两个精确列表(执行 r1 == r2 返回 True)，需要完全不同的时间(查询集越大，差异越大)，我知道 python 很慢，但 django在幕后做这么多工作使查询变慢？另外，为了确保，我已经尝试先构建查询集对象(在计时器之外)，但结果是相同的，所以我 100% 确定额外的时间来自获取和构建结果结构。我也尝试在查询结束时使用 iterator() 函数，但这也无济于事。我知道差异很小，两者的执行速度都非常快，但是这是用 apache ab 进行的基准测试，当有 1k 个并发请求时，这个最小的差异让一切变得轻松。

顺便说一下，我正在使用 django 1.7.10 和 mysqlclient 作为数据库连接器。

编辑:为了比较，使用 11k 结果查询集的相同测试，差异变得更大(慢 3 倍，与第一个慢 2.6 倍相比)

r1 = timeme(t3); r2 = timeme(t4)
0.0149241530889
0.0437563529558

EDIT2:另一个有趣的测试，如果我实际上将查询集对象转换为它的实际字符串查询(使用 str(queryset.query))，并在原始查询中使用它，我将获得与原始查询相同的良好性能，通过使用 queryset.query 字符串有时会给我一个实际无效的 SQL 查询的执行(即，如果查询集对日期值有过滤器，则日期值不会在字符串查询中用 '' 转义，给出一个 sql使用原始查询执行时出错，这是另一个谜)

-- 编辑 3:通过代码，似乎不同之处在于结果数据的检索方式，对于原始查询集，它只是调用 iter(self.cursor) 我相信在使用 C 实现的连接器时将全部在 C 代码中运行(因为 iter 也是内置的)，而 ValuesListQuerySet 实际上是带有 yield tuple(row) 语句的 python 级别 for 循环，这将非常慢。我想在这件事上没有什么可以做的来获得与原始查询集相同的性能:'(。如果有人感兴趣，慢循环就是这个:

for row in self.query.get_compiler(self.db).results_iter():
    yield tuple(row)

-- 编辑 4: 我有一个非常 hacky 的代码，用于将值列表查询集转换为可用数据以发送到原始查询，具有与运行原始查询相同的性能，我想这很糟糕，只能与 mysql 一起使用，但是，加速非常好，同时允许我保留模型 api 过滤等。你怎么认为？这是代码。

def querysetAsRaw(qs):
    q = qs.query.get_compiler(qs.db).as_sql()
    with connection.cursor() as c:
        c.execute(q[0], q[1])
        return c

Answer 1

答案很简单，更新到django 1.8或更高版本，更改了一些代码，性能上不再有这个问题。