R Caret/如何在RFE中对火车进行交叉验证

Question

我对rfe库中的caret函数有疑问。在插入符号主页link上，他们给出了以下RFE算法:
algorithm

对于此示例，我将rfe函数与3折交叉验证结合使用，并将train函数与linear-SVM和5折交叉验证结合使用。

library(kernlab)
library(caret)
data(iris)

# parameters for the tune function, used for fitting the svm
trControl <- trainControl(method = "cv", number = 5)

# parameters for the RFE function
rfeControl <- rfeControl(functions = caretFuncs, method = "cv",
                     number= 4, verbose = FALSE )

rf1 <- rfe(as.matrix(iris[,1:4]), as.factor(iris[,5]) ,sizes = c( 2,3) ,  
           rfeControl = rfeControl, trControl = trControl, method = "svmLinear")

从上面的算法中，我假设该算法可以使用2个嵌套的交叉验证:

rfe将数据(150个样本)分成3折

train函数将在训练集(100个样本)上运行，并进行5倍交叉验证以调整模型参数-并进行后续RFE。

让我感到困惑的是，当我查看 rfe函数的结果时:

> lapply(rf1$control$index, length)
$Fold1
[1] 100
$Fold2
[1] 101
$Fold3
[1] 99

> lapply(rf1$fit$control$index, length)
$Fold1
[1] 120
$Fold2
[1] 120
$Fold3
[1] 120
$Fold4
[1] 120
$Fold5
[1] 120

由此看来，当我期望80的大小时，来自5倍cv的训练集的大小为120个样本。

因此，如果有人可以澄清rfe和培训如何一起工作，那将是非常不错的。

干杯

> sessionInfo()
R version 2.15.1 (2012-06-22)
Platform: i386-apple-darwin9.8.0/i386 (32-bit)

locale:
[1] C

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
 [1] pROC_1.5.4      e1071_1.6-1     class_7.3-5     caret_5.15-048 
 [5] foreach_1.4.0   cluster_1.14.3  plyr_1.7.1      reshape2_1.2.1 
 [9] lattice_0.20-10 kernlab_0.9-15 

loaded via a namespace (and not attached):
 [1] codetools_0.2-8 compiler_2.15.1 grid_2.15.1     iterators_1.0.6
 [5] stringr_0.6.1   tools_2.15.1   

Answer 1

这里的问题是lapply(rf1$fit$control$index, length)不存储我们认为的内容。

据我了解，有必要研究代码。发生了以下情况:

当您调用rfe时，整个数据将传递到nominalRfeWorkflow。

在nominalRfeWorkflow中，根据rfeControl(在我们的示例中，根据3折CV规则进行了3次拆分)的训练数据和测试数据将传递给rfeIter。
我们可以在rf1$control$index下的结果中找到这些拆分。

在rfeIter中，约100个训练样本(我们的示例)用于查找最终变量(该函数的输出)。
据我了解，〜50个测试样本(我们的示例)用于计算不同变量集的性能，但它们仅作为外部性能存储，而不用于选择最终变量。
为了选择这些，使用了5倍交叉验证的性能估计。
但是我们无法在rfe返回的最终结果中找到这些索引。
如果确实需要它们，则需要从fitObject$control$index中的rfeIter中获取它们，将它们返回到nominalRfeWorkflow，然后再返回rfe，然后从那里返回到rfe返回的结果rfe -Class对象中。

那么lapply(rf1$fit$control$index, length)中存储了什么？ -当rfe找到最佳变量时，将使用最佳变量和完整引用数据创建最终模型拟合(150)。 rf1$fit是在rfe中创建的，如下所示:
fit <- rfeControl$functions$fit(x[, bestVar, drop = FALSE],
y,
first = FALSE,
last = TRUE,
...)
该函数再次运行train函数，并使用完整的引用数据，最终功能集和通过省略号(trControl)给出的...进行最终交叉验证。
由于我们的trControl应该做5倍CV，因此lapply(rf1$fit$control$index, length)返回120是正确的，因为我们必须计算150/5 * 4 = 120。