python - 检查包含的内存有效方法

Question

如果不是因为我需要存储比我的 4 GB RAM 所能容纳的更多的数据，我本可以使用字典来完成这项任务。我也在同一个程序中做其他需要内存的事情，所以内存要求越低越好。

我只是想

1. 存储许多字符串

2. 检查字符串是否包含在集合中

是否有 Python 方法可以做到这一点？我使用的是 3.3，所以 berkelydbs 已经出局了。

它还需要给出准确的答案，所以没有布隆过滤器。

Answer 1

如果数据不适合您的内存，那么您将别无选择，您将不得不将部分数据临时存储在外部存储设备(您的磁盘)中。正如您猜对的那样，文件访问既昂贵又缓慢，因此关键是要将磁盘操作保持在最低限度。

由于您似乎需要一个键值存储(因为您有一个字典)，所以最好将其分开，以便相关数据位于一个类似的位置，这样您就可以快速逐 block 读入内存进行计算。

但是如何做到这一点完全取决于您实际在做什么，如果没有进一步的信息，我们无法真正帮助您。

顺便说一句。正如您提到的 Berkeley DB，实际上有 bindings适用于 Python 3.2，如果它们也适用于 Python 3.3，我也不会感到惊讶。否则 3.3 仍然很新，因此可能会进行更新。如果您正在寻找替代的键值存储数据库，也许给 redis一试。我没试过 Python bindings虽然。