python - Numpy:奇异矩阵

Question

我正在尝试使用 NumPy 计算 X'X 形式矩阵的逆矩阵，如下所示。

df = pd.read_csv('https://raw.githubusercontent.com/jianghaochu/data/master/x.csv')
X = np.array(df)
X.shape  # returns (92, 18)
np.linalg.det(np.matmul(X.transpose(), X))  # returns 8.029863818629298
np.linalg.matrix_rank(np.matmul(X.transpose(), X))  # returns 17

令我困惑的是 X'X 不是满秩的，但行列式是正的，NumPy 可以成功计算 X'X 的倒数。但是，如果我采用另一个由 X 的列的子集构成的矩阵 Y，则行列式变为零，无法计算逆。

Y = X[:, [0, 12, 13, 14, 15, 16, 17]]
Y.shape  # returns (92, 7)
np.linalg.det(np.matmul(Y.transpose(), Y))  # returns 0.0
np.linalg.matrix_rank(np.matmul(Y.transpose(), Y))  # returns 16
np.linalg.inv(np.matmul(Y.transpose(), Y))  # numpy.linalg.LinAlgError: Singular matrix

numpy.linalg.LinAlgError: Singular matrix

在我看来，Y 的列是线性相关的。因此，Y'Y 是奇异的，其行列式为零。向 Y 添加更多列(如在 X 中)不应导致线性独立。因此，我无法理解 NumPy 如何在 Y'Y 为单数的情况下计算 X'X 的倒数。

我正在使用上述数据计算 OLS 估计量。当我使用 Y 中的列(变量)时，我收到一个奇异错误，我认为这是由于自变量的完全共线性造成的。当我在模型中添加更多独立变量并获得矩阵作为 X 时，我可以使用 NumPy 成功获得估计量。这真的让我感到困惑，因为它表明添加更多自变量可以解决完美共线性，这让我大吃一惊。

整个下午和晚上我都在为它苦苦挣扎，但仍然没有得到任何线索。我也在 R 中尝试过它并得到了相同的结果。我希望有人能指导我一些新的方向。任何建议将不胜感激。

Answer 1

查看此处的讨论:numpy inverts a singular matrix .

总结所说的内容:

• 你得到这样结果的原因是因为 numpy 使用 LU 分解来计算逆。
• 这种“逆”不能用于求解线性方程组。
• 这不会发生在 Numpy 1.12.0 中
• condition number你的矩阵非常高:np.linalg.cond(X.T@X) =
5.7294895077058016e+17

除此之外，您还可以检查特征值 - 如果矩阵的一个特征值为零，则其对应的特征向量是线性相关的:

lambdas, V = np.linalg.eig(X.T@X)

lambdas[np.isclose(lambdas, 0)]
array([1.89103844e-15])