python - 字典的存储容量，想在python中将大量数据存储到字典中

Question

我想用 python 将大量数据存储到字典中。巨大的数据可能约为 21 GB。为此，我写了一个片段。在字典中存储整数值。

代码:

import timeit
import sys
dicts = {}
print "\n***Building dict..."
start = timeit.default_timer()
for j in range(0,5):
    for i in range(0,1000000):
        dicts[''+str(j)+str(i)] = i
        print str(i) + '-' + str(j)
        print "Size : ", sys.getsizeof(dicts)/1024/1024, " MB"
print "Total time of build dict", timeit.default_timer() - start 

在运行时，当我使用 **getsizeof(dicts)** 达到 1.2GB 左右的大小时，它失败了以将值存储在字典中但不显示任何错误。 Dictionary 是否有一些存储数据的能力？

那么，问题是如何将大量数据存储到字典中？

注意:不需要将数据存储在文件或数据库中。因为我想快速检索键值对。

Answer 1

Python 字典的大小限制取决于操作系统提供的可用内存。问题在于，随着字典的增长(调整大小)，它必须复制自身以重新分配键，因此当字典变得非常大时，此过程可能开始需要比实际可用内存更多的内存。