django - 使用 Django 的 ORM 加速批量插入？

Question

我计划使用 Django 的 ORM 将取自约 750 个文件(每个约 250MB)的十亿条记录上传到数据库。目前每个文件需要大约 20 分钟的时间来处理，我想知道是否有任何方法可以加快这个过程。

我采取了以下措施:

• > Use @transaction.commit_manually并每 5000 条记录提交一次
• 设置 DEBUG=False 以便 django won't accumulate all the sql commands in memory
• 遍历单个文件中的记录的循环完全包含在单个函数中(最小化堆栈更改)
• 避免访问数据库进行查询(使用数据库中已有对象的本地散列 instead of using get_or_create)
• > Set force_insert=True in the save()希望它能为 django 节省一些逻辑
• > Explicitly set the id希望它能为 django 节省一些逻辑
• 通用代码最小化和优化

我还能做些什么来加快速度？以下是我的一些想法:

• 使用某种更快的 Python 编译器或版本(Psyco？)
• > Override the ORM and use SQL directly
• 使用一些可能更好的第 3 方代码(1、2)
• > Beg the django community创建一个 bulk_insert 函数

欢迎任何关于这些项目或任何其他想法的指示:)

Answer 1

Django 1.4 在 QuerySet 对象上提供了一个 bulk_create() 方法，参见:

• https://docs.djangoproject.com/en/dev/ref/models/querysets/#django.db.models.query.QuerySet.bulk_create
• https://docs.djangoproject.com/en/dev/releases/1.4/
• https://code.djangoproject.com/ticket/7596