python - 寻找大矩阵最小二乘解的更快方法

Question

我想找到矩阵的最小二乘解，我正在使用 numpy linalg.lstsq 函数；

weights = np.linalg.lstsq(semivariance, prediction, rcond=None)

我的变量的维度是；

半方差是大小为 5030 x 5030 的 float

预测是长度为5030的一维数组

我遇到的问题是返回 weights 的值大约需要 80 秒，并且我必须重复计算 weights 大约 10000 次，因此计算时间仅为升高。

有没有更快的方法/Pythonic 函数来做到这一点？

Answer 1

@ Brenlla似乎是正确的，即使您通过使用 Moore-Penrose 伪逆求解来执行最小二乘，它也明显快于 np.linalg.lstsq :

import numpy as np
import time

semivariance=np.random.uniform(0,100,[5030,5030]).astype(np.float64)
prediction=np.random.uniform(0,100,[5030,1]).astype(np.float64)

start=time.time()
weights_lstsq = np.linalg.lstsq(semivariance, prediction, rcond=None)
print("Took: {}".format(time.time()-start))

>>> Took: 34.65818190574646

start=time.time()
weights_pseudo = np.linalg.solve(semivariance.T.dot(semivariance),semivariance.T.dot(prediction))
print("Took: {}".format(time.time()-start))

>>> Took: 2.0434153079986572

np.allclose(weights_lstsq[0],weights_pseudo)

>>> True

以上不是您的精确矩阵，而是样本可能转移的概念。 np.linalg.lstsq通过最小化 || b - a x ||^2 来执行优化问题解决 x在ax=b 。这在极大的矩阵上通常会更快，因此为什么线性模型通常在神经网络中使用梯度下降来解决，但在这种情况下，矩阵不够大，无法获得性能优势。