python - Cupy OutOfMemoryError 尝试在内存映射模式下 cupy.load 较大尺寸的 .npy 文件时出现 Cupy OutOfMemoryError 错误，但 np.load 工作正常

Question

我正在尝试使用内存映射模式在 cupy 中加载一些较大的 .npy 文件，但我不断遇到 OutOfMemoryError 。

我认为，由于它是在内存映射模式下打开的，因此此操作不应该占用太多内存，因为内存映射实际上不会将整个数组加载到内存中。

我可以使用 np.load 加载这些文件，这似乎只发生在 cupy.load 上。我的环境是 Google Colab，配有 Tesla K80 GPU。它拥有大约 12 GB CPU 内存、12 GB GPU 内存和 350 GB 磁盘空间。

这是重现错误的最小示例:

import os
import numpy as np
import cupy

#Create .npy files. 
for i in range(4):
    numpyMemmap = np.memmap( 'reg.memmap'+str(i), dtype='float32', mode='w+', shape=( 10000000 , 128 ))
    np.save( 'reg.memmap'+str(i) , numpyMemmap )
    del numpyMemmap
    os.remove( 'reg.memmap'+str(i) )

# Check if they load correctly with np.load.
NPYmemmap = []
for i in range(4):
    NPYmemmap.append( np.load( 'reg.memmap'+str(i)+'.npy' , mmap_mode = 'r+' )  )
del NPYmemmap

# Eventually results in memory error. 
CPYmemmap = []
for i in range(4):
    print(i)
    CPYmemmap.append( cupy.load( 'reg.memmap'+str(i)+'.npy' , mmap_mode = 'r+' )  )

输出:

0
1
/usr/local/lib/python3.6/dist-packages/cupy/creation/from_data.py:41: UserWarning: Using synchronous transfer as pinned memory (5120000000 bytes) could not be allocated. This generally occurs because of insufficient host memory. The original error was: cudaErrorMemoryAllocation: out of memory
  return core.array(obj, dtype, copy, order, subok, ndmin)
2
3
---------------------------------------------------------------------------
OutOfMemoryError                          Traceback (most recent call last)
<ipython-input-4-b5c849e2adba> in <module>()
      2 for i in range(4):
      3     print(i)
----> 4     CPYmemmap.append( cupy.load( 'reg.memmap'+str(i)+'.npy' , mmap_mode = 'r+' )  )

1 frames
/usr/local/lib/python3.6/dist-packages/cupy/io/npz.py in load(file, mmap_mode)
     47     obj = numpy.load(file, mmap_mode)
     48     if isinstance(obj, numpy.ndarray):
---> 49         return cupy.array(obj)
     50     elif isinstance(obj, numpy.lib.npyio.NpzFile):
     51         return NpzFile(obj)

/usr/local/lib/python3.6/dist-packages/cupy/creation/from_data.py in array(obj, dtype, copy, order, subok, ndmin)
     39 
     40     """
---> 41     return core.array(obj, dtype, copy, order, subok, ndmin)
     42 
     43 

cupy/core/core.pyx in cupy.core.core.array()

cupy/core/core.pyx in cupy.core.core.array()

cupy/core/core.pyx in cupy.core.core.ndarray.__init__()

cupy/cuda/memory.pyx in cupy.cuda.memory.alloc()

cupy/cuda/memory.pyx in cupy.cuda.memory.MemoryPool.malloc()

cupy/cuda/memory.pyx in cupy.cuda.memory.MemoryPool.malloc()

cupy/cuda/memory.pyx in cupy.cuda.memory.SingleDeviceMemoryPool.malloc()

cupy/cuda/memory.pyx in cupy.cuda.memory.SingleDeviceMemoryPool._malloc()

cupy/cuda/memory.pyx in cupy.cuda.memory._try_malloc()

OutOfMemoryError: out of memory to allocate 5120000000 bytes (total 20480000000 bytes)

我还想知道这是否可能与 Google Colab 及其环境/GPU 有关。

为方便起见，这里有一个包含此最少代码的 Google Colab 笔记本

https://colab.research.google.com/drive/12uPL-ZnKhGTJifZGVdTN7e8qBRRus4tA

Answer 1

内存映射时磁盘文件的 numpy.load 机制可能不需要将整个文件从磁盘加载到主机内存中。

然而，cupy.load 似乎将要求整个文件首先适合主机内存，然后适合设备内存。

您的特定测试用例似乎正在创建 4 个磁盘文件，每个文件的大小约为 5GB。如果主机或设备内存各有 12GB，则这些内存将无法全部装入。因此，我希望在第三次文件加载时(如果不是更早)事情会失败。

可以将 numpy.load 机制与映射内存结合使用，然后通过 cupy 操作有选择地将部分数据移动到 GPU。在这种情况下，对于诸如 cupy 数组之类的常见事物，GPU 上的数据大小仍然会受到 GPU RAM 的限制。

即使您可以使用 CUDA 固定的“零复制”内存，它仍然会受到主机内存大小(此处为 12GB)或更小的限制。