python - 过滤字典列表的最快方法？

Question

这个问题已经有答案了:

What makes sets faster than lists? (8 个回答)

已关闭 4 年前。

我有一个字典列表 inserts应该插入到数据库中。由于某些元素已经在数据库中 db_entry_ids ，我想把它们过滤掉。现在代码非常简单:

[d for d in inserts if d["entry_id"] not in db_entry_ids]

与

len(inserts) = 35000  
len(db_entry_ids) =280000

Python 需要几分钟的时间。我希望有一些简单的方法可以提高效率。

PS:d["entry_id"]是一个字符串，以及 db_entry_ids ，是一个字符串列表。所以id 可能有点误导。

Answer 1

将db_entry_ids转换为集合。集合中的 not in 操作要快得多。

db_entry_ids = set(db_entry_ids)
[d for d in inserts if d["entry_id"] not in db_entry_ids]

请参阅此引用:https://wiki.python.org/moin/TimeComplexity