python - 使用 Flask-SQLAlchemy 批量插入

Question

我正在使用 Flask-SQLAlchemy 执行相当大的 60k 行批量插入。我在这个表上也有一个多对多的关系，所以我不能为此使用 db.engine.execute。在插入之前，我需要在数据库中找到类似的项目，如果发现重复的项目，则将插入更改为更新。

我可以事先进行此检查，然后通过 db.engine.execute 进行批量插入，但我需要插入时行的主键。

目前，我正在对每个插入执行 db.session.add() 和 db.session.commit()，我得到的只有 3-4每秒插入数。

我运行了一个分析器来查看瓶颈在哪里，似乎 db.session.commit() 占用了 60% 的时间。

有没有什么方法可以让我更快地完成这个操作，也许是通过对提交进行分组，但哪种方法可以让我返回主键？

这是我的模型的样子:

class Item(db.Model):
    id = db.Column(db.Integer, primary_key=True)
    title = db.Column(db.String(1024), nullable=True)
    created = db.Column(db.DateTime())
    tags_relationship = db.relationship('Tag', secondary=tags, backref=db.backref('items', lazy='dynamic'))
    tags = association_proxy('tags_relationship', 'text')

class Tag(db.Model):
    id = db.Column(db.Integer, primary_key=True)
    text = db.Column(db.String(255))

我的插入操作是:

for item in items:
    if duplicate:
        update_existing_item
    else:
        x = Item()
        x.title = "string"
        x.created = datetime.datetime.utcnow()
        for tag in tags:
            if not tag_already_exists:
                y = Tag()
                y.text = "tagtext"
                x.tags_relationship.append(y)
                db.session.add(y)
                db.session.commit()
            else:
                x.tags_relationship.append(existing_tag)
    db.session.add(x)
    db.session.commit()

Answer 1

也许您应该尝试使用 db.session.flush() 将数据发送到服务器，这意味着将生成任何主键。最后，您可以 db.session.commit() 实际提交事务。