numpy - numpy 数组的内存映射文件

Question

我需要读取存储在内存映射文件中的巨大 numpy 数组的部分内容，处理数据并对数组的另一部分重复。整个 numpy 数组占用大约 50 GB，我的机器有 8 GB RAM。

我最初使用 numpy.memmap 创建内存映射文件，方法是读入许多较小的文件并处理它们的数据，然后将处理后的数据写入 memmap 文件。在创建 memmap 文件期间，我没有出现内存问题(我定期使用 memmap.flush() )。以下是我创建内存映射文件的方法:

mmapData = np.memmap(mmapFile,mode='w+', shape=(large_no1,large_no2))
for i1 in np.arange(numFiles):
   auxData = load_data_from(file[i1])
   mmapData[i1,:] = auxData
   mmapData.flush() % Do this every 10 iterations or so

但是，当我尝试访问 memmap 文件的一小部分(<10 MB)时，创建 memmap 对象时它会淹没我的整个内存。机器速度急剧减慢，我什么也做不了。以下是我尝试从内存映射文件中读取数据的方法:

mmapData = np.memmap(mmapFile, mode='r',shape=(large_no1,large_no2))
aux1 = mmapData[5,1:1e7]

我认为使用 mmap 或 numpy.memmap 应该允许我访问大型数组的部分内容，而无需尝试将整个数组加载到内存中。我错过了什么？

我是否使用了错误的工具来访问存储在磁盘中的大型 numpy 数组(> 20 GB)的部分内容？

Answer 1

是否您正在考虑虚拟内存消耗，而不是物理内存消耗，并且速度减慢是由于其他原因造成的？