python - 高斯过程回归: standard deviation meaning

Question

在以下有关高斯过程回归 (GPR) 的代码中:

from sklearn.datasets import make_friedman2
from sklearn.gaussian_process import GaussianProcessRegressor
from sklearn.gaussian_process.kernels import DotProduct, WhiteKernel

X, y = make_friedman2(n_samples=500, noise=0, random_state=0)

kernel = DotProduct() + WhiteKernel()
gpr = GaussianProcessRegressor(kernel=kernel, random_state=0).fit(X, y)

print gpr.score(X, y)
print gpr.predict(X[:2,:], return_std=True) 

从gpr.predict(X[:2,:], return_std=True)获得的“标准差”的含义是什么？

例如，如果我将 GPR 与支持向量回归 (SVR) 进行比较，它的 predict 方法中没有它。当我使用 SVR 算法时，我通常会从交叉验证中得到标准错误。

我在贝叶斯优化中使用它，这就是为什么我需要知道标准错误的来源。

Answer 1

Gaussian Processes are Bayesian因此，拟合回归会产生可能参数的分布。这样一来，人们就可以计算预测分布，而不是简单的点估计。设置参数 return_std=True 会导致该方法返回与每个查询点关联的标准差。这些为预测提供了理论界限，并根据所提供的证据(训练数据)的强度提供信息。

当无法准确执行此类分析计算时，通常会使用交叉验证。高斯过程方法的主要优点是其易处理性。