python - python中的多变量回归属性选择

Question

我是使用 statsmodels 的初学者，并且我也愿意使用其他基于 Python 的方法来解决我的问题:

我有一个包含约 85 个特征的数据集，其中一些特征高度相关。当我运行 OLS 方法时，如我所料，我收到了有用的“强多重共线性问题”警告。

我之前通过 Weka 运行过这些数据，Weka 作为回归分类器的一部分，有一个 EliminateColinearAttributes 选项。

我怎样才能做同样的事情 - 让模型选择要使用的属性而不是将它们全部放在模型中？谢谢!

Answer 1

要运行多元回归，请使用 scipy.stats.linregress 。看看这个nice example其中有一个很好的解释。

您提到的软件中的eliminateColinearAttributes选项只是该软件中实现的一些算法来解决该问题。在这里，您需要自己实现一些迭代算法，基于消除具有最高 p 值的高度相关变量之一(然后再次运行回归并重复，直到不存在多重共线性)。

这里没有唯一的方法，有不同的技术。从一组彼此高度相关的变量中手动选择也是一种很好的做法，忽略它也是有意义的。