python - SQLalchemy 具有一对一关系的批量插入

Question

我有以下模型，其中 TableA 和 TableB 具有 1 对 1 的关系:

class TableA(db.Model):
    id = Column(db.BigInteger, primary_key=True)
    title = Column(String(1024))
    table_b = relationship('TableB', uselist=False, back_populates="table_a")


class TableB(db.Model):
    id = Column(BigInteger, ForeignKey(TableA.id), primary_key=True)
    a = relationship('TableA', back_populates='table_b')
    name = Column(String(1024))

当我插入 1 条记录时一切正常:

rec_a = TableA(title='hello')
rec_b = TableB(a=rec_a, name='world')
db.session.add(rec_b)
db.session.commit()

但是当我尝试对大量记录执行此操作时:

bulk_ = []

for title, name in zip(titles, names):
    rec_a = TableA(title=title)
    bulk_.append(TableB(a=rec_a, name=name))

db.session.bulk_save_objects(bulk_)
db.session.commit()

我收到以下异常:

sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1364, "Field 'id' doesn't have a default value")

我做错了什么吗？是不是我配置的型号不对？有没有办法批量提交此类数据？

Answer 1

您看到的错误是由 Mysql 引发的。它提示尝试将记录插入 table_b 违反了外键约束。

一种技术可能是将所有标题写入一个批量语句中，然后将所有名称写入第二个批量语句中。另外，我从未成功地将关系传递给批量操作，此方法依赖于插入简单值。

bulk_titles = [TableA(title=title) for title in titles]
session.bulk_save_objects(bulk_titles, return_defauls=True)
bulk_names = [TableB(id=title.id, name=name) for title, name in zip(bulk_titles, names)]
session.bulk_save_objects(bulk_names)

上面需要

return_defaults=True ，因为我们在第二个批量操作中需要 title.id 。但这greatly reduces the performance gains of the bulk operation

为了避免由于 return_defauts=True 导致性能下降，您可以从应用程序而不是数据库生成主键，例如使用 uuids，或获取每个表中的最大 id 并从该起始值生成一个范围。

另一种技术可能是使用 sqlalchemy 核心或纯文本编写批量插入语句。