machine-learning - 如何使用 scikit-learn 进行高斯/多项式回归？

Question

scikit-learn 是否提供使用高斯或多项式内核执行回归的工具？我查看了 API，但没有看到任何内容。有没有人在 scikit-learn 之上构建了一个包来执行此操作？

Answer 1

理论

多项式回归是线性回归的一种特殊情况。主要思想是如何选择你的功能。查看具有 2 个变量的多元回归:x1 和 x2。线性回归将如下所示:y = a1 * x1 + a2 * x2。

现在您想要进行多项式回归(让我们创建 2 次多项式)。我们将创建一些附加功能:x1*x2、x1^2 和 x2^2。所以我们会得到你的“线性回归”:

y = a1 * x1 + a2 * x2 + a3 * x1*x2 + a4 * x1^2 + a5 * x2^2

这很好地展示了一个重要的概念 curse of dimensionality ，因为新特征的数量随着多项式次数的增长而增长得比线性增长快得多。您可以看看about this concept here .

使用 scikit-learn 进行练习

您不需要在 scikit 中完成所有这些操作。 Polynomial regression已经在那里可用(在 0.15 版本中。检查 how to update it here )。

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

X = [[0.44, 0.68], [0.99, 0.23]]
vector = [109.85, 155.72]
predict= [0.49, 0.18]

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
predict_ = poly.fit_transform(predict)

clf = linear_model.LinearRegression()
clf.fit(X_, vector)
print clf.predict(predict_)