python - PyMySQL:查询大量行失败

Question

我正在使用 PyMySQL 执行一个非常简单的查询:

SELECT `id` FROM `records` ORDER BY `id` DESC

records 中有超过 150 万行。 id 是一个主键。

这是 PyMySQL 的限制吗？如果我一次查询这么多行，还有什么我应该使用的吗？

Answer 1

您可以将查询分解为几个更小的查询:

from math import ceil

batch_size = 1000

for start_at in range(int(ceil(total_rows / 1000 * 1.0))):
    sql = 'SELECT `id` from `RECORDS` ORDER BY `id` DESC LIMIT %i, %i'
    sql = sql % (start_at * batch_size, batch_size)
    # fetch rows