Python:组合 itertools 和 sets 以节省内存

Question

所以几天前我在 Python 中发现了集合，令我惊讶的是，尽管它们使很多事情变得非常简单，但我之前从未想到过它们。后面我会举个例子。

有些事情我还不清楚。文档说 Sets 可以从 iterables 创建，并且运算符总是返回新的 Sets 但他们是否总是将所有数据从一个集合复制到另一个集合并从 iterable 复制？我处理大量数据，并且希望有 Sets 和 set operators 的行为很像 itertools。所以 Sets([iterable]) 更像是一个包装器，联合、交集等运算符将返回“iSets”并且不会复制任何数据。一旦我迭代我的最终 Set，他们都会进行评估。最后，我真的很想拥有“iSet”运营商。

目的:我使用 mongoengine 处理 MongoDB。我有文章保存。有些与用户相关联，有些被标记为已读，有些则显示给用户等等。将它们包装在不加载所有数据的集合中将是组合、交叉等它们的好方法。显然我可以进行特殊查询，但并非总是如此，因为 MongoDB 不支持连接。所以我最终在 Python 中进行了连接。我知道那时我可以使用关系数据库，但是，我不需要经常连接，MongoDB 的优势在我的案例中胜过它们。

那么你怎么看？ 已经有第三方模块了吗？结合 itertools 和 Sets 的几行代码行吗？

编辑:我接受了 Martijn Pieters 的回答，因为它显然是正确的。我最终只将 ID 加载到集合中以使用它们。此外，Python 中的集合具有相当不错的运行时间。

Answer 1

集合就像dict 和list；在创建时，他们从种子迭代中复制引用。

迭代器不能是集合，因为你不能强制集合的唯一性要求。您无法知道迭代器产生的 future 值之前是否已经出现。

此外，为了确定两个可迭代对象之间的交集，您必须至少从这些可迭代对象之一加载所有数据，以查看是否存在任何匹配项。对于第二个 iterable 中的每个项目，您需要测试该项目是否已在第一个 iterable 中看到。为了有效地做到这一点，您需要将第一个 iterable 中的所有项目加载到一个集合中。另一种方法是从头到尾循环遍历第一个迭代器对于第二个迭代器中的每个项目，导致性能呈指数级下降。