machine-learning - 如何使用SVM和逻辑回归的权重向量来确定特征重要性？

Question

我已经在我的数据集上训练了 SVM 和逻辑回归分类器。两个分类器都提供一个权重向量，其大小为特征数量。我可以使用这个权重向量来选择 10 个最重要的特征，只需选择权重最高的 10 个特征即可。

我应该使用权重的绝对值，即选择绝对值最高的 10 个特征吗？

其次，这仅适用于具有线性内核的 SVM，但不适用于我所读到的 RBF 内核。对于非线性内核，权重在某种程度上不再是线性的。在非线性核SVM的情况下，权重向量不能用来确定特征重要性的确切原因是什么？

Answer 1

正如我对 similar question 的回答，任何 linear classifier 的权重向量都表示特征重要性:因为最终值是特征值以权重为系数的线性组合，所以权重越大，对最终值的影响就越大相应的被加数。

因此，对于线性分类器，您可以采用具有最大权重的特征(而不是特征本身的最大值，或者权重和特征值的最大乘积)。

这也解释了为什么带有像RBF这样的非线性核的SVM没有这样的属性:特征值和权重都变换到另一个空间，你不能说权重越大影响越大，见wiki .

如果需要为非线性 SVM 选择最重要的特征，请对 feature selection 使用特殊方法，即 wrapper methods 。