针对n变量预测方程的Python模型

Question

我正在寻求构建一个预测模型，并正在使用我们当前的 JMP 模型。我们当前的方法是猜测 n 次多项式，然后查看哪些项不是显着的模型效应。多项式并不总是最好的，这会导致很多困惑和糟糕的模型。我们的数据可以产生 2 到 7 种效果，并且始终只有一种响应。

我想使用 python 来实现此目的，但是很难找到类似的包文档或在线指南。我知道如何拟合特定的 n 次多项式或在 python 中进行线性回归，但不知道如何“猜测”数据集的最佳函数类型。

我是否遗漏了一些明显的东西，或者我应该编写一些可以探测各种函数类型的东西？精度是最重要的。我正在处理一个小型(~2000x100)数据集。

我可能可以对较小的训练集进行回归，根据验证集对其进行测试，然后对模型进行排名并选择最佳模型。还有更好的吗？

Answer 1

尝试使用其他回归模型而不是普通线性模型。

您可以使用这样的方法进行多项式回归:

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(input_data)

并且您可以通过套索回归来约束权重

clf = linear_model.Lasso(alpha = 0.5, positive = True)
clf.fit(X_,Y_)

其中 Y_ 是您要训练的输出。

将 alpha 设置为 0 会将其变成简单的线性回归。 alpha 基本上是对较小权重施加的惩罚。您还可以使权重严格为正。看看这个here.

以较小的程度运行它并执行交叉验证以检查它的拟合程度。

增加多项式的次数通常会导致过度拟合。因此，如果您被迫使用 4 或 5 级，则意味着您应该寻找其他模型。

您还应该看看这个 question.这解释了如何进行曲线拟合。