python - 高斯过程回归增量学习

Question

我正在使用高斯过程回归的 scikit-learn 实现 here我想拟合单个点而不是拟合整组点。但是生成的 alpha 系数应该保持不变，例如

gpr2 = GaussianProcessRegressor()
    for i in range(x.shape[0]):
        gpr2.fit(x[i], y[i])

应该是一样的

gpr = GaussianProcessRegressor().fit(x, y)

但是在访问gpr2.alpha_和gpr.alpha_时，它们是不一样的。这是为什么？

事实上，我正在从事一个出现新数据点的项目。我不想再次附加 x、y 数组并适合整个数据集，因为它非常耗时。设 x 的大小为 n，则我有:

n+(n-1)+(n-2)+...+1 € O(n^2) fittings

考虑到拟合本身是二次的(如果我错了请纠正我)，运行时间复杂度应该是 O(n^3)。如果我对 n 个点进行一次拟合会更好:

1+1+...+1 = n € O(n)

Answer 1

你说的其实叫online learning或者incremental learning；它本身是机器学习中的一个巨大的子领域，并且不是对于所有 scikit-learn 模型都是开箱即用的。引用自相关documentation :

Although not all algorithms can learn incrementally (i.e. without seeing all the instances at once), all estimators implementing the partial_fit API are candidates. Actually, the ability to learn incrementally from a mini-batch of instances (sometimes called “online learning”) is key to out-of-core learning as it guarantees that at any given time there will be only a small amount of instances in the main memory.

在上面链接文档中的这段摘录之后，有一个完整列表，列出了当前支持增量学习的所有 scikit-learn 模型，从中您可以看到 GaussianProcessRegressor 不是 其中之一。