python - 大数据数组

Question

我需要形成一个总大小为 2,886 X 2,003,817 的二维矩阵。我尝试使用 numpy.zeros 制作一个二维零元素矩阵，然后计算并分配 Matrix 的每个元素(其中大多数都是零，我需要替换其中的一些元素)。

但是当我尝试 numpy.zero 初始化矩阵时，出现以下内存错误:

 C=numpy.zeros((2886,2003817)) "MemoryError"

我还尝试在不初始化的情况下形成矩阵。基本上我在算法的每次迭代中计算每行的元素，然后

C=numpy.concatenate((C,[A]),axis=0)

其中 C 是我的最终矩阵，A 是当前迭代的计算行。但我发现这个方法需要很多时间，我猜这是因为使用了 numpy.concatenate(?)

您能否告诉我是否有办法避免初始化矩阵时出现内存错误，或者是否有更好的方法或建议来形成这种大小的矩阵？

谢谢，阿米尔

Answer 1

如果您的数据中有很多零，您应该使用 scipy.sparse矩阵。

它是一种特殊的数据结构，旨在为具有大量零的矩阵节省内存。但是，如果您的矩阵不是那么稀疏，稀疏矩阵就会开始占用更多内存。稀疏矩阵有很多种，每种稀疏矩阵在某件事上高效，而在另一件事上效率低下，因此请谨慎选择。