python - 使用 Python numpy 进行线性回归

Question

我正在尝试做一个简单的线性回归函数，但继续遇到

numpy.linalg.linalg.LinAlgError: Singular matrix error

现有函数(带有调试打印):

def makeLLS(inputData, targetData):
    print "In makeLLS:"
    print "    Shape inputData:",inputData.shape
    print "    Shape targetData:",targetData.shape
    term1 = np.dot(inputData.T, inputData)
    term2 = np.dot(inputData.T, targetData)
    print "    Shape term1:",term1.shape
    print "    Shape term2:",term2.shape
    #print term1
    #print term2
    result = np.linalg.solve(term1, term2)
    return result

我的测试数据到控制台的输出是:

In makeLLS:
    Shape trainInput1: (773, 10)
    Shape trainTargetData: (773, 1)
    Shape term1: (10, 10)
    Shape term2: (10, 1)

然后它在 linalg.solve 行上出错。这是一个教科书线性回归函数，我似乎无法弄清楚它为什么会失败。

什么是奇异矩阵误差？

Answer 1

如另一个答案中所述，linalg.solve 需要一个满秩矩阵。这是因为它试图求解矩阵方程，而不是进行适用于所有等级的线性回归。

线性回归有几种方法。我建议的最简单的方法是标准最小二乘法。只需使用 numpy.linalg.lstsq 代替。包含示例的文档是 here .