Numpy:使用随机数据减少点积的内存占用

Question

我有一个大型 numpy 数组，我将使用随机生成的值进行线性投影。

>>> input_array.shape
(50, 200000)
>>> random_array = np.random.normal(size=(200000, 300))
>>> output_array = np.dot(input_array, random_array)

不幸的是，random_array 占用了大量内存，我的机器开始交换。在我看来，我实际上并不需要同时使用所有的 random_array；理论上，我应该能够在点积计算期间懒惰地生成它……但我不知道该怎么做。

如何减少从 input_array 计算 output_array 的内存占用量？

Answer 1

这显然不是最快的解决方案，但您尝试过吗:

m, inner = input_array.shape
n = 300
out = np.empty((m, n))
for i in xrange(n):
    out[:, i] = np.dot(input_array, np.random.normal(size=inner))