python - 我需要使用 django reset_queries()

Question

我使用的是 Django 1.3，我正在 Web 上下文之外(从命令行)运行脚本。
我的代码每次都从数据库中读取 10000 个条目。
我注意到进程的内存使用量随着时间的推移越来越大。
我的代码是:

def getData(startIndex,chunkSize):
    dataList =Mydata.objects.filter(update_date__isnull = True)[startIndex:startIndex+chunkSize]
    return list(dataList)

if __name__ == '__main__':
   chunkSize = 10000
   startIndex = 0
   dataSize = Mydata.objects.filter(update_date__isnull = True).count()
   while startIndex < dataSize:
       dataList = getData(startIndex,chunkSize)
       startIndex += chunkSize
       do_stuff(dataList)

我的问题是:我是否需要使用 reset_queries() 和/或 connection.close()
这是内存使用量增加的原因吗？

Answer 1

我将从使用 only 开始或 defer查询中的方法。这两个用于仅检索您实际需要的字段，而不是所有字段。您的查询会稍微快一些并且消耗更少的内存，因为不需要的字段不会从数据库中获取。