python - SQLite3 Python : How to do an efficient bulk update?

Question

我可以使用以下代码在 Python (2.7) 上的 Sqlite3 中进行非常高效的批量插入:

cur.executemany("INSERT INTO " + tableName + " VALUES (?, ?, ?, ?);", data)

但我无法获取更新以高效工作。我认为这可能是数据库结构/索引的问题，但即使在只有一个 100 行的表的测试数据库上，更新仍然需要大约 2-3 秒。

我尝试了不同的代码变体。我拥有的最新代码来自 this answer之前关于 update 和 executemany 的问题，但它对我来说和我所做的任何其他尝试一样慢:

data = []
for s in sources:
    source_id = s['source_id']
    val = get_value(s['source_attr'])
    x=[val, source_id]
    data.append(x)
cur.executemany("UPDATE sources SET source_attr = ? WHERE source_id = ?", data)
con.commit()

我如何改进此代码以高效地进行大量更新？

Answer 1

当插入一条记录时，数据库只需要在表的末尾写入一行(除非你有类似 UNIQUE 约束的东西)。

更新记录时，数据库需要找到该行。这需要扫描整个表(针对每个命令)，除非您在搜索列上有索引:

CREATE INDEX whatever ON sources(source_id);

但是如果 source_id 是 primary key ，你应该这样声明它(这会创建一个隐式索引):

CREATE TABLE sources(
    source_id INTEGER PRIMARY KEY,
    source_attr TEXT,
    [...]
);