python - 批量存在检查+保存 - Django

Question

• 我有一个 CSV 文件，其中列出了我需要存储在数据库中的项目。

• 我需要检查哪些项目尚未存储，如果未存储，我需要将它们保存在数据库中。

• 有 2-5 百万行。

---

模型是Django的User模型。

我有一个这种形式的 CSV 文件:

Item_ID, Surname, Policy_number, Sex, Title, Start_date

这是代码:

import csv

reader = csv.reader(open('items.csv', 'rb'))

for index, row in enumerate(reader):
    if User.objects.filter(username=row[2]).count():
        continue
    try:
        user = User(username=row[2],last_name=row[1],password='*')
        user.save()
    except Exception, e:
        print e
    del user
    del row
    del index

---

有什么推荐的方法吗？

Answer 1

视情况而定。如果可以将 csv 数据转换为模型，则应该这样做:

• 加载csv数据
• 对于每一行:
  • 检查它的模型是否存在
  • 如果不是:
    • 根据数据创建新模型并保存。

编辑:
我认为批量检查是否存在会很困难。批量保存模型会更快，但根据模型的复杂性，我认为按模型保存会更省钱。