python - Django 与巨大的 mysql 数据库

Question

将数百万条记录的 csv 文件导入 Django 的最佳方式是什么。

目前使用python csv模块，处理100万条记录文件需要2-4天。它会检查记录是否已经存在，以及其他一些检查。

这个过程能否在几个小时内完成。

memcache能否以某种方式使用。

更新:还有 django ManyToManyField 字段也得到处理。这些将如何与直接负载一起使用。

Answer 1

我不确定你的情况，但我们在 Django 中遇到了类似的情况，大约 3000 万条记录需要一天以上的时间才能导入。

由于我们的客户完全不满意(有失去项目的危险)，在使用 Python 进行了几次失败的优化尝试后，我们采取了彻底的策略更改并(仅)使用 Java 和 JDBC 进行导入(+ 一些 mysql 调整) ，并将导入时间缩短至约 45 分钟(使用 Java 非常容易优化，因为 IDE 和分析器支持非常好)。