python - 使用查询集从 Django 获取百万记录很慢

Question

我想遍历一个表的所有对象(Post)我正在使用以下代码:

posts = Post.objects.all()
for post in posts:
   process_post(post)

process_post 是一个 celery 任务，它将在后台运行并且不会更新帖子。但我遇到的问题是 Post 表有 100 万条记录。这不是一次性工作。我正在运行它每天。

for post in posts

在上一行中，调用了查询，它一次性从数据库中获取所有数据。

我怎样才能提高它的性能？有什么办法可以批量取数据吗？

Answer 1

制作您自己的迭代器。例如，假设 100 万 条记录。

count = Post.objects.all().count() #1 million
chunk_size = 1000   
for i in range(0, count, chunk_size):
    posts = Post.objects.all()[i:i+chunk_size]
    for post in posts:
        process_post(post)        

在查询集上切片将播放LIMIT、OFFSET 用法。查询可以随着 chunk_size 的增加而减少，而内存使用量也会增加。针对您的用例对其进行优化。