R 插入符保留样本和测试集 ROC

Question

我正在构建两个不同的分类器来预测二进制结果。然后我想通过使用 ROC 曲线及其下面积 (AUC) 来比较两个模型的结果。

我将数据集分为训练集和测试集。在训练集上，我执行一种形式的交叉验证。从交叉验证的保留样本中，我能够为每个模型构建 ROC 曲线。然后我在测试集上使用模型并构建另一组 ROC 曲线。

结果是矛盾的，这让我很困惑。我不确定哪个结果是正确的，或者我是否做了完全错误的事情。保留样本ROC曲线显示RF是更好的模型，训练集ROC曲线显示SVM是更好的模型。

分析

library(ggplot2)
library(caret)
library(pROC)
library(ggthemes)
library(plyr)
library(ROCR)
library(reshape2)
library(gridExtra)

my_data <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv")

str(my_data)
names(my_data)[1] <- "Class"
my_data$Class <- ifelse(my_data$Class == 1, "event", "noevent")

my_data$Class <- factor(emr$Class, levels = c("noevent", "event"), ordered = TRUE)

set.seed(1732)
ind <- createDataPartition(my_data$Class, p = 2/3, list = FALSE)
train <- my_data[ ind,]
test  <- my_data[-ind,]

接下来我训练两个模型:随机森林和 SVM。在这里，我还使用 Max Kuhns 函数从两个模型的保留样本中获取平均 ROC 曲线，并将这些结果与曲线中的 AUC 一起保存到另一个 data.frame 中。

#Train RF
ctrl <- trainControl(method = "repeatedcv",
                 number = 5,
                 repeats = 3,
                 classProbs = TRUE,
                 savePredictions = TRUE,
                 summaryFunction = twoClassSummary)

grid <- data.frame(mtry = seq(1,3,1))

set.seed(1537)
rf_mod <- train(Class ~ ., 
                data = train,
                method = "rf",
                metric = "ROC",
                tuneGrid = grid,
                ntree = 1000,
                trControl = ctrl)


rfClasses <- predict(rf_mod, test)

#This is the ROC curve from held out samples. Source is  from Max Kuhns 2016 UseR! code here: https://github.com/topepo/useR2016
roc_train <- function(object, best_only = TRUE, ...) {


  lvs <- object$modelInfo$levels(object$finalModel)

  if(best_only) {
    object$pred <- merge(object$pred, object$bestTune)
  }

  ## find tuning parameter names
  p_names <- as.character(object$modelInfo$parameters$parameter)
  p_combos <- object$pred[, p_names, drop = FALSE]

  ## average probabilities across resamples
  object$pred <- plyr::ddply(.data = object$pred, 
                         .variables = c("obs", "rowIndex", p_names),
                         .fun = function(dat, lvls = lvs) {
                           out <- mean(dat[, lvls[1]])
                           names(out) <- lvls[1]
                           out
                         })

  make_roc <- function(x, lvls = lvs, nms = NULL, ...) {
    out <- pROC::roc(response = x$obs,
                 predictor = x[, lvls[1]],
                 levels = rev(lvls))

    out$model_param <- x[1,nms,drop = FALSE]
    out
  }
  out <- plyr::dlply(.data = object$pred, 
                 .variables = p_names,
                 .fun = make_roc,
                 lvls = lvs,
                 nms = p_names)
  if(length(out) == 1)  out <- out[[1]]
  out
}

temp <- roc_train(rf_mod)

plot_data_ROC <- data.frame(Model='Random Forest', sens =     temp$sensitivities, spec=1-temp$specificities)

#This is the AUC of the held-out samples roc curve for RF
auc.1 <- abs(sum(diff(1-temp$specificities) *     (head(temp$sensitivities,-1)+tail(temp$sensitivities,-1)))/2)

#Build SVM
set.seed(1537)
svm_mod <- train(Class ~ ., 
                 data = train,
                 method = "svmRadial",
                 metric = "ROC",
                 trControl = ctrl)

svmClasses <- predict(svm_mod, test)

#ROC curve into df
temp <- roc_train(svm_mod)
plot_data_ROC <- rbind(plot_data_ROC, data.frame(Model='Support Vector Machine', sens = temp$sensitivities, spec=1-temp$specificities))

#This is the AUC of the held-out samples roc curve for SVM
auc.2 <- abs(sum(diff(1-temp$specificities) *   (head(temp$sensitivities,-1)+tail(temp$sensitivities,-1)))/2)

接下来我将绘制结果

#Plotting Final

#ROC of held-out samples
q <- ggplot(data=plot_data_ROC, aes(x=spec, y=sens, group = Model, colour =     Model)) 
q <- q + geom_path() + geom_abline(intercept = 0, slope = 1) + xlab("False     Positive Rate (1-Specificity)") + ylab("True Positive Rate (Sensitivity)") 
q + theme(axis.line = element_line(), axis.text=element_text(color='black'), 
      axis.title = element_text(colour = 'black'),     legend.text=element_text(), legend.title=element_text())

#ROC of testing set
rf.probs <- predict(rf_mod, test,type="prob")
pr <- prediction(rf.probs$event, factor(test$Class, levels = c("noevent", "event"), ordered = TRUE))
pe <- performance(pr, "tpr", "fpr")
roc.data <- data.frame(Model='Random Forest',fpr=unlist(pe@x.values),     tpr=unlist(pe@y.values))

svm.probs <- predict(svm_mod, test,type="prob")
pr <- prediction(svm.probs$event, factor(test$Class, levels = c("noevent",     "event"), ordered = TRUE))
pe <- performance(pr, "tpr", "fpr")
roc.data <- rbind(roc.data, data.frame(Model='Support Vector     Machine',fpr=unlist(pe@x.values), tpr=unlist(pe@y.values)))

q <- ggplot(data=roc.data, aes(x=fpr, y=tpr, group = Model, colour = Model)) 
q <- q + geom_line() + geom_abline(intercept = 0, slope = 1) + xlab("False     Positive Rate (1-Specificity)") + ylab("True Positive Rate (Sensitivity)") 
q + theme(axis.line = element_line(), axis.text=element_text(color='black'), 
      axis.title = element_text(colour = 'black'),     legend.text=element_text(), legend.title=element_text())


#AUC of hold out samples
data.frame(Rf = auc.1, Svm = auc.2)

#AUC of testing set. Source is  from Max Kuhns 2016 UseR! code here: https://github.com/topepo/useR2016
test_pred <- data.frame(Class = factor(test$Class, levels = c("noevent",     "event"), ordered = TRUE))
test_pred$Rf <- predict(rf_mod, test, type = "prob")[, "event"]
test_pred$Svm <- predict(svm_mod, test, type = "prob")[, "event"]

get_auc <- function(pred, ref){
  auc(roc(ref, pred, levels = rev(levels(ref))))
}

apply(test_pred[, -1], 2, get_auc, ref = test_pred$Class)

保留样本和测试集的结果完全不同(我知道它们会有所不同，但相差这么多？)。

        Rf       Svm
0.656044 0.5983193

       Rf       Svm 
0.6326531 0.6453428

从保留的样本中，人们会选择 RF 模型，但从测试集中，人们会选择 SVM 模型。

选择模型的“正确”或“更好”方式是什么？我是否在某个地方犯了一个大错误或者没有正确理解某些事情？

Answer 1

如果我理解正确的话，那么你有 3 个标记数据集:

1. 培训
2. 保留训练中的 CV 样本
3. “测试”简历样本

虽然，在保留样本 CV 策略下，您通常会根据保留样本选择模型，但您通常也不会拥有更大的验证数据样本。

显然，如果保留数据集和测试数据集都经过 (a) 标记并且 (b) 尽可能接近训练数据的正交性水平，那么您将根据其中的一个来选择模型样本量较大。

在您的情况下，您所说的保留样本似乎只是训练中重复的 CV 重采样。在这种情况下，您更有理由选择测试数据集验证的结果。参见Steffen的相关note重复简历。

理论上，随机森林的装袋具有通过 OOB 统计数据进行交叉验证的继承形式，并且在训练阶段进行的 CV 应该为您提供一些验证措施。然而，在实践中，通常会观察到缺乏正交性和过度拟合的可能性增加，因为样本来自训练数据本身，并且可能会强化过度拟合的准确性错误。

我可以在某种程度上从理论上解释这一点，除此之外，我只需要告诉你，根据经验，我发现根据训练数据计算出的所谓 CV 和 OOB 误差的性能结果可能会很高误导性的和在训练期间从未接触过的真实保留(测试)数据是更好的验证。

您真正的保留样本是测试数据集，因为在训练期间没有使用它的任何数据。使用这些结果。