python - Mac OS X 与 Linux 上的 Numpy 和内存分配

Question

我使用 64 位 Python 使用 numpy 加载大型矩阵。

它在 8GB 内存的 Macbook Pro 上运行良好。

>>> from sklearn.preprocessing import MultiLabelBinarizer
>>> mb = MultiLabelBinarizer()
>>> matrix = mb.fit_transform(questions_topics)
>>> sys.getsizeof(matrix) 
47975472376
>>> matrix.shape
(2999967, 1999)

但它在具有 16GB 内存和 10GB 交换空间的 Ubuntu Google VM 实例上引发了 MemoryError。

>>> y = mb.fit_transform(questions_topics)
/home/Liwink/anaconda3/lib/python3.5/site-packages/scipy/sparse/base.py in _process_toarray_args(self, order, out)
1037             return out
1038         else:
-> 1039             return np.zeros(self.shape, dtype=self.dtype, order=order)
1040
1041     def __numpy_ufunc__(self, func, method, pos, inputs, **kwargs):
MemoryError:

在Mac OS上加载matrix时需要50G VIRT。

我有两个问题:

1. 矩阵(大约 50GB)保存在内存还是磁盘中？
2. 如何在 VM 上加载此矩阵？

Answer 1

谢谢@juanpa.arrivillaga，我通过 increasing the swap 解决了这个问题.

但它仍然不完美，因为在 Ubuntu 上它会先用完内存，但在 Mac OS 上它“节省”了很多内存。

在 Ubuntu 上:

在 Mac 操作系统上:

在 Ubuntu 上，它比在 Mac OS 上使用更多的 RES。

如何在 Ubuntu 上节省内存？