r - 如何找到支持向量机中的重要因素

Question

原始数据较大，无法在此贴出。问题是我使用R中的包e1071进行支持向量机分析。原始数据有100个因子，预测结果为1或0。例如，我生成一个包含 10 个因子的随机数据框。

for (i in 1:10){
    factor<-c(factor,runif(10,5,10))
}
value<-matrix(factor,nrow=10)
y<-sample(0:1,10,replace=T)
data<-as.data.frame(cbind(y,value))

我做了预测，但我想知道如何确定哪些因素(10 个因素中)对结果重要(更相关)。

例如，结果可能是因子 2、4、5 和 10 对最终结果有贡献。

你能帮我解决这个问题吗？非常感谢。

Answer 1

这个问题的完整答案并不简单。以下是开始讨论此主题的示例:

library(rpart)
library(e1071)

cat('Regression tree case:\n')
fit1 <- rpart(Species ~ ., data=iris)
print(fit1$variable.importance)

cat('SVM model case:\n')
fit2 <- svm(Species ~ ., data = iris)
w <- t(fit2$coefs) %*% fit2$SV                 # weight vectors
w <- apply(w, 2, function(v){sqrt(sum(v^2))})  # weight
w <- sort(w, decreasing = T)
print(w)

上面脚本的结果是:

Regression tree case:
 Petal.Width Petal.Length Sepal.Length  Sepal.Width 
    88.96940     81.34496     54.09606     36.01309 

SVM model case:
Petal.Length  Petal.Width Sepal.Length  Sepal.Width 
   12.160093    11.737364     6.623965     4.722632 

可以看到两个模型的结果变量重要性相似。

这是解释 SVM 结果的多种方法之一。

有关详细信息，请参阅以下论文:“变量和特征选择简介”，http://jmlr.csail.mit.edu/papers/v3/guyon03a.html