python - 内存错误 : numpy. genfromtxt()

Question

我有一个 50,000x5,000 矩阵(浮点)文件。当使用 x = np.genfromtxt(readFrom, dtype=float) 将文件加载到内存中时，我收到以下错误消息:

File "C:\Python27\lib\site-packages\numpy\lib\npyio.py", line 1583, in genfromtxt for (i, converter) in enumerate(converters)])
MemoryError

我想将整个文件加载到内存中，因为我正在使用 Scipy 计算每个向量之间的欧氏距离。 dis = scipy.spatial.distance.euclidean(x[row1], x[row2])

有什么有效的方法可以将巨大的矩阵文件加载到内存中。

谢谢。

更新:

我设法解决了这个问题。这是我的解决方案。我不确定它是否有效或逻辑上是否正确，但对我来说效果很好:

x = open(readFrom, 'r').readlines()
y = np.asarray([np.array(s.split()).astype('float32') for s in x], dtype=np.float32)
....
dis = scipy.spatial.distance.euclidean(y[row1], y[row2])

请帮助我改进我的解决方案。

Answer 1

根据您的操作系统和 Python 版本，您很可能永远无法分配 1GB 数组(mgilson 的答案就在这里)。问题不是内存不足，而是连续 内存不足。如果您使用的是 32 位计算机(尤其是运行 Windows)，添加更多内存也无济于事。迁移到 64 位架构可能会有所帮助。

使用较小的数据类型当然会有帮助；根据您使用的操作，16 位 float 甚至 8 位整数可能就足够了。

如果这些都不起作用，那么您不得不承认数据不适合内存。您必须分段处理它(在这种情况下，将数据存储为 HDF5 数组可能非常有用)。