python - 使用 memmap 文件进行批处理

Question

我有一个庞大的数据集，我希望对其进行 PCA。我受限于 RAM 和 PCA 的计算效率。因此，我转而使用迭代 PCA。

数据集大小-(140000,3504)

documentation声明 此算法具有恒定的内存复杂度，数量级为 batch_size，无需将整个文件加载到内存中即可使用 np.memmap 文件。

这真的很好，但不确定如何利用它。

我尝试加载一个 memmap，希望它能以 block 的形式访问它，但我的 RAM 崩溃了。我的以下代码最终使用了大量 RAM:

ut = np.memmap('my_array.mmap', dtype=np.float16, mode='w+', shape=(140000,3504))
clf=IncrementalPCA(copy=False)
X_train=clf.fit_transform(ut)

当我说“我的内存坏了”时，我看到的 Traceback 是:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python27\lib\site-packages\sklearn\base.py", line 433, in fit_transfo
rm
    return self.fit(X, **fit_params).transform(X)
  File "C:\Python27\lib\site-packages\sklearn\decomposition\incremental_pca.py",
 line 171, in fit
    X = check_array(X, dtype=np.float)
  File "C:\Python27\lib\site-packages\sklearn\utils\validation.py", line 347, in
 check_array
    array = np.array(array, dtype=dtype, order=order, copy=copy)
MemoryError

如何在不影响准确性的情况下通过减小批量来改进这一点？

---

我的诊断思路:

我查看了 sklearn 源代码和 fit() 函数 Source Code我可以看到以下内容。这对我来说很有意义，但我仍然不确定我的情况出了什么问题。

for batch in gen_batches(n_samples, self.batch_size_):
        self.partial_fit(X[batch])
return self

编辑:最坏的情况我将不得不为 iterativePCA 编写自己的代码，它通过读取和关闭 .npy 文件进行批处理。但这会破坏利用已经存在的黑客攻击的目的。

编辑2:如果我能以某种方式删除一批处理过的 memmap 文件。这很有意义。

编辑 3:理想情况下，如果 IncrementalPCA.fit() 只是使用批处理，它不应该使我的 RAM 崩溃。发布整个代码，只是为了确保我之前在将 memmap 完全刷新到磁盘时没有犯错误。

temp_train_data=X_train[1000:]
temp_labels=y[1000:] 
out = np.empty((200001, 3504), np.int64)
for index,row in enumerate(temp_train_data):
    actual_index=index+1000
    data=X_train[actual_index-1000:actual_index+1].ravel()
    __,cd_i=pywt.dwt(data,'haar')
    out[index] = cd_i
out.flush()
pca_obj=IncrementalPCA()
clf = pca_obj.fit(out)

令人惊讶的是，我注意到 out.flush 没有释放我的内存。有没有办法使用 del out 完全释放我的内存，然后有人将文件指针传递给 IncrementalPCA.fit()。

Answer 1

您在 32 位环境中遇到了 sklearn 的问题。我假设您正在使用 np.float16，因为您处于 32 位环境中，并且您需要它来允许您创建 memmap 对象而不会出现 numpy thowing 错误。

在 64 位环境中(在 Windows 上使用 Python3.3 64 位测试)，您的代码开箱即用。所以，如果你有一台可用的 64 位计算机 - 安装 python 64 位和 numpy、scipy、scikit-learn 64 位，你就是一切顺利。

不幸的是，如果您不能这样做，就没有简单的解决方法。我有 raised an issue on github here ，但打补丁并不容易。根本问题在于，在库中，如果您的类型是 float16，则会触发将数组复制到内存中。详情如下。

因此，我希望您可以访问具有大量 RAM 的 64 位环境。如果没有，您将不得不自己拆分阵列并对其进行批处理，这是一项相当大的任务...

N.B 很高兴看到您找到源代码来诊断您的问题 :) 但是，如果您查看代码失败的那一行(来自 Traceback )，您将看到您找到的 for batch in gen_batches 代码从未到达。

---

详细诊断:

OP代码产生的实际错误:

import numpy as np
from sklearn.decomposition import IncrementalPCA

ut = np.memmap('my_array.mmap', dtype=np.float16, mode='w+', shape=(140000,3504))
clf=IncrementalPCA(copy=False)
X_train=clf.fit_transform(ut)

是

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python27\lib\site-packages\sklearn\base.py", line 433, in fit_transfo
rm
    return self.fit(X, **fit_params).transform(X)
  File "C:\Python27\lib\site-packages\sklearn\decomposition\incremental_pca.py",
 line 171, in fit
    X = check_array(X, dtype=np.float)
  File "C:\Python27\lib\site-packages\sklearn\utils\validation.py", line 347, in
 check_array
    array = np.array(array, dtype=dtype, order=order, copy=copy)
MemoryError

对check_array( code link ) 的调用使用dtype=np.float，但原始数组有dtype=np.float16 .即使 check_array() 函数 defaults to copy=False和 passes this to np.array() ，这将被忽略( as per the docs )，以满足 dtype 不同的要求；因此 np.array 制作了一个副本。

这可以在 IncrementalPCA 代码中解决，方法是确保为具有 dtype in (np.float16, np.float32, np.float64) 的数组保留 dtype .但是，当我尝试该补丁时，它只会将 MemoryError 推向执行链的更远。

当代码 calls linalg.svd() 出现同样的复制问题来自主要的 scipy 代码，这次错误发生在调用 to gesdd() 期间，来自 lapack 的包装 native 函数。因此，我认为没有办法对此进行修补(至少不是一种简单的方法 - 它至少需要更改核心 scipy 中的代码)。