python - 字典变量的 MemoryError

Question

我在第 3 轮 nfind(while 循环)中执行的代码有什么问题，返回符合 CACHE[sha] = number 的 MemoryError？在系统上有足够的内存，并且在 while 循环的每一端我都清除分配的内存，但它在第 3 次通过 while 循环运行时返回错误。如果您运行这些代码，在某些情况下，我认为有必要将 XRAN= 2**23 更改为更大或更小的指数(一或两个)，以产生错误。请帮助和建议。

from multiprocessing import Pool
from hashlib import sha256
from struct import pack
import gc

XRAN= 2**23

def compsha(number):
    return number, sha256(pack("Q", number)).digest()

if __name__ == '__main__':
    gc.enable()
    nfind = 1
    while (nfind > 0):
        print(nfind)
        CACHE = {}
        pool = Pool()
        for i, output in  enumerate(pool.imap_unordered(compsha, xrange((nfind-1)*XRAN, nfind*XRAN), 2)):
            number, sha = output
            CACHE[sha] = number
        pool.close()
        pool.join()
        if nfind != 0 :
            nfind = nfind + 1
        del CACHE
=======================================================
>>> 
1
2

Traceback (most recent call last):
  File "D:\Python27\free_pool.py", line 20, in <module>
    CACHE[sha] = number
MemoryError

Answer 1

除了 Ned 关于在您甚至不使用的字典中存储太多内容的回答之外，您是否有可能在 32 位 python 解释器上运行并在主进程中达到 4GB 内存限制？

$ python -c "import sys; print sys.maxint" // 64-bit python
9223372036854775807

$ python-32 -c "import sys; print sys.maxint" // 32-bit
2147483647

在 Windows 上，32 位进程可能限制在 2-4GB 之间