R插入符(svmRadial)保持sigma不变并使用网格搜索C

Question

我正在使用带有 caret 的径向基函数核 ('svmRadial') 实现支持向量机。就我对文档和源代码的理解而言，caret 使用分析公式来获得对 sigma 的合理估计并将其固定为该值(根据输出:调整参数“sigma”保持不变值为 0.1028894)。此外，caret 对一组成本参数 C(默认值 = 3)进行交叉验证。

但是，如果我现在想设置自己的成本参数网格 (tuneGrid)，我必须另外指定一个 sigma 值。否则会出现以下错误:

Error: The tuning parameter grid should have columns sigma, C

如何根据解析公式修正 Sigma 并仍然实现我自己的成本参数 C 网格？

这是一个 MWE:

library(caret)
library(mlbench)

data(BostonHousing)

set.seed(1)
index <- sample(nrow(BostonHousing),nrow(BostonHousing)*0.75)
Boston.train <- BostonHousing[index,]
Boston.test <- BostonHousing[-index,]

# without tuneGrid
set.seed(1)
svmR <- train(medv ~ .,
              data = Boston.train,
              method = "svmRadial",
              preProcess = c("center", "scale"),
              trControl = trainControl(method = "cv", number = 5))

# with tuneGrid (gives the error message)
set.seed(1)
svmR <- train(medv ~ .,
              data = Boston.train,
              method = "svmRadial",
              preProcess = c("center", "scale"),
              tuneGrid = expand.grid(C = c(0.01, 0.1)),
              trControl = trainControl(method = "cv", number = 5))

Answer 1

如果您查看模型的信息，它显示了如果您不提供网格是如何生成的:

getModelInfo("svmRadial")$svmRadial$grid

function(x, y, len = NULL, search = "grid") {
                    sigmas <- kernlab::sigest(as.matrix(x), na.action = na.omit, scaled = TRUE)
                    if(search == "grid") {
                      out <- expand.grid(sigma = mean(as.vector(sigmas[-2])),
                                         C = 2 ^((1:len) - 3))
                    } else {
                      rng <- extendrange(log(sigmas), f = .75)
                      out <- data.frame(sigma = exp(runif(len, min = rng[1], max = rng[2])),
                                        C = 2^runif(len, min = -5, max = 10))
                    }
                    out
                  }

所以得到的方法是使用kernlab::sigest估计sigma，首先我们拉出svmRadial的grid方法:

models <- getModelInfo("svmRadial", regex = FALSE)[[1]]

设置输入 x 和 y，因为您提供的是公式:

preProcValues = preProcess(Boston.train, method = c("center", "scale")) 
processData = predict(preProcValues,Boston.train)
x = model.matrix(medv ~ .,data=processData)[,-1]
y = processData$medv

我们为这个模型使用了网格函数，你可以看到它和你的输出是一样的:

set.seed(1)
models$grid(x,y,3)

      sigma    C
1 0.1028894 0.25
2 0.1028894 0.50
3 0.1028894 1.00

svmR$results
      sigma    C     RMSE  Rsquared      MAE    RMSESD RsquaredSD     MAESD
1 0.1028894 0.25 5.112750 0.7591398 2.982241 0.8569208 0.05387213 0.4032354
2 0.1028894 0.50 4.498887 0.8046234 2.594059 0.7823051 0.05357678 0.3644430
3 0.1028894 1.00 4.055564 0.8349416 2.402248 0.8403222 0.06825159 0.3732571

这就是下面发生的事情:

set.seed(1)
sigmas = kernlab::sigest(as.matrix(x), na.action = na.omit, scaled = TRUE)
# from the code, you can see it takes the mean of the two extreme quantiles

mean(sigmas[-2])
[1] 0.1028894