python - 替代非常大的字典(约 4000 万个键)

Question

我有一个相当大的字典，其中包含大约 4000 万个键，我天真地通过将 {key: value, key: value, ...} 写入文本文件来存储这些键。我没有考虑到我永远无法实际访问这些数据这一事实，因为 python 厌恶将 1.44GB 的文本文件作为字典加载和评估。

我知道我可以使用 shelve 之类的东西来访问数据而无需一次读取所有数据，但我不确定如何将此文本文件转换为搁置文件而不重新生成所有数据(我不想这样做)。是否有更好的替代方案来存储、访问和稍后可能更改这么多数据？如果不是，我应该如何将这种怪异的格式转换为搁置可用的格式？

如果重要，字典的格式为 {(int, int, int int): [[int, int], Bool]}

Answer 1

Redis是可用于此类问题的内存中键值存储。

有几个Python clients .

hmset操作允许您插入多个键值。