optimization - 高斯过程 : Maximum Log-likelihood gives infinite results

Question

我觉得很愚蠢，不明白这里有什么不起作用。

我想用一些数据拟合高斯过程。我的协方差函数是基本的平方指数函数:

k(x,x0) =σ0²*exp(-(x-x0)²/(2*λ²))

我有三个超参数来拟合我的数据:来自协方差函数的两个参数(σ 和 λ)，以及来自假设我的数据有噪声的 σ0。所以我只需要最小化负对数似然，对吗？

logp(y|X,θ) =1/2*t(y)*C(θ)^(−1)*y+1/2log|C(θ)|+(n/2)*log 2π

使用 θ=(σ,λ,σ0) 和 C(θ)=K-σ0²*I

其中 K 是在我的 x 向量上应用 k 获得的协方差矩阵。

唯一的边界条件是参数必须为正。

但是，无论我使用什么优化算法，它都会失败，因为它会直接进入 -Inf。几个小时后，我认为我无法以适当的方式使用优化算法，我意识到这实际上很正常:

我的 σ0 和我的 σ 直接变为 0，因为这给出了 K=0，C=0，所以 det(C)=0，所以我的负似然变为 -Inf。

这当然是胡说八道，最适合数据的方差不可能为 0。但是我不知道我在这里做错了什么，特别是因为这个公式到处都是这样写的，现在我不知道如何优化它可以给出 σ=0 以外的东西......

我哪里错了？

Answer 1

如果您要拟合核密度或核密度表面之类的东西，则您的代码完全有可能没有任何“错误”。

在我看来，随着带宽接近零，拟合曲面的对数似然会增加，拟合基本上接近一个在事件处具有奇异性而在其他任何地方都为零的曲面。从可能性的角度来看，这将构成一个“完美”的拟合——尽管在计算上是灾难性的并且在推论上毫无用处。

但从好的方面来说，今天是星期五。