numpy - 确保正定协方差矩阵

Question

我的神经网络的输出充当协方差矩阵的条目。然而，输出和条目之间的一对一对应导致非正定协方差矩阵。

因此，我阅读了 https://www.quora.com/When-carrying-out-the-EM-algorithm-how-do-I-ensure-that-the-covariance-matrix-is-positive-definite-at-all-times-avoiding-rounding-issues和 https://en.wikipedia.org/wiki/Cholesky_decomposition ，更具体地说，“当 A 有真实条目时，L 也有真实条目，分解可以写成 A = LL^T”。

现在我的输出对应于 L 矩阵的条目，然后我通过将它乘以它的转置来生成协方差矩阵。

但是，有时我仍然会遇到非正定矩阵的错误。这怎么可能？

我发现了一个产生错误的矩阵，请参阅

print L.shape
print Sigma.shape

S = Sigma[1,18,:,:] # The matrix that gives the error
L_ = L[1,18,:,:]
print L_
S = np.dot(L_,np.transpose(L_))
print S
chol = np.linalg.cholesky(S)

作为输出给出:

(3, 20, 2, 2)
(3, 20, 2, 2)
[[ -1.69684255e+00   0.00000000e+00]
 [ -1.50235415e+00   1.73807144e-04]]
[[ 2.87927461  2.54925847]
 [ 2.54925847  2.25706792]]
.....
LinAlgError: Matrix is not positive definite

但是，此代码复制值工作正常(但可能不完全相同的值，因为并非所有小数都被打印)

B = np.array([[-1.69684255e+00, 0.00000000e+00], [-1.50235415e+00, 1.73807144e-04]])
A = np.dot(B,B.T)
chol_A = np.linalg.cholesky(A)

所以问题是:

使用 Sigma = LL' 的方法是否正确(使用 ' 转置)？

如果是，为什么我收到错误？这可能是由于舍入问题吗？

编辑:我还计算了特征值

print np.linalg.eigvalsh(S)
[ -7.89378944432428397703915834426880e-08
   5.13634252548217773437500000000000e+00]

对于第二种情况

print np.linalg.eigvalsh(A)
[  1.69341869415973178547574207186699e-08
   5.13634263409323210680668125860393e+00]

所以第一种情况有一个轻微的负特征值，它声明了非正定性。但是如何解决这个问题呢？

Answer 1

这看起来像是一个数值问题，但一般来说，LL' 总是正定的(如果 L 是可逆的，它将是真的)是不正确的。例如，将 L 作为矩阵，其中每一列都是 [1 0 0 0 ... 0] (或者甚至更极端 - 将 L 视为任意维数的零矩阵)，则 LL' 不会是 PD。一般来说，我会建议做

S = LL' + eps I

它解决了这两个问题(对于小 eps)，并且是“正则化”协方差估计。您甚至可以使用 Ledoit-Wolf 估计器来获得 eps 的“最佳”(在某些假设下)值。