python - np.hstack() 中的内存错误

Question

我正在尝试执行此代码:

for i in Fil:  
    for k in DatArr:  
        a = np.zeros(0)  
        for j in Bui:  
            a = np.hstack([a,DatDifCor[k][i,j]])  
        DatDifPlt[k].update({i:a})  

但它给了我这个错误:

Traceback (most recent call last):  
  File "<ipython console>", line 5, in <module>  
  File "C:\Python26\lib\site-packages\numpy\core\shape_base.py", line 258, in hstack  
    return _nx.concatenate(map(atleast_1d,tup),1)  
MemoryError

我一开始以为这是由于 RAM 内存不足造成的，但后来我在具有 48 Gb RAM 的 PC 上尝试时，却出现了同样的错误。我是否已达到 NumPy.array 的最大大小？

Answer 1

MemoryError 始终意味着分配内存的尝试失败。尝试创建大于最大数组大小的数组会导致 ValueError:

>>> a = numpy.arange(500000000)
>>> numpy.hstack((a, a))
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/pymodules/python2.6/numpy/core/shape_base.py", line 258, in hstack
    return _nx.concatenate(map(atleast_1d,tup),1)
ValueError: array is too big.

请注意，48 GB 也是有限的内存量，您的操作系统(甚至硬件平台)可能会将单个进程的大小限制为 4 GB。