python - 从 .npy 文件中提取特定值

Question

我有一个 .npy 文件，我基本上知道其中的所有内容(大小、元素数量、元素类型等)，我希望有一种方法可以在不加载数组的情况下检索特定值。目标是使用尽可能少的内存。

我正在寻找类似的东西

def extract('test.npy',i,j):
    return "test.npy[i,j]"

我有点知道如何使用文本文件执行此操作(请参阅最近的问题)，但使用 npy 数组执行此操作将使我能够做的不仅仅是行提取。

此外，如果您知道使用 scipy 稀疏矩阵执行此操作的任何方法，那将非常棒。

谢谢。

Answer 1

只需使用 data = np.load(filename, mmap_mode='r')(或者其他模式之一，如果您还需要更改特定元素)。

这将返回一个内存映射数组。数组的内容不会加载到内存中，而是在磁盘上，但您可以像往常一样通过索引数组来访问单个项目。 (请注意，根据数组的形状和顺序，访问某些切片比访问其他切片花费的时间要长得多。)

HDF 是一种更有效的格式，但 .npy 格式旨在允许内存映射数组。