r - RMSE的插入符二进制分类

Question

有没有办法使插入符号使用具有二进制分类问题的RMSE？

如果您尝试将metric = "RMSE"用于分类问题，则会收到以下消息:

Error in train.default(x, y, weights = w, ...) :
    Metric RMSE not applicable for classification models

有道理。但是，有没有一种方法可以定义自定义指标？例如，如果结果为 0或 1，则可以将错误定义为 outcome - p，其中 p是模型预测的概率。

编辑====================

为了提供一些背景信息并出于某些原因想要使用此度量，请参阅Michael J. Procopio的 An Experimental Analysis of Classifier Ensembles for Learning Drifting Concepts Over Time in Autonomous Outdoor Robot Navigation中的2.7.1或 paper on softclassval

Answer 1

我不知道为什么要这样做，但是您可以创建自己的摘要函数:

library(caret)

set.seed(1)
dat <- twoClassSim(100)

foo <- function(data, lev = NULL, model = NULL) {
  probs <- data[, lev[1]]
  c(rmse = RMSE(pred = probs,
                obs = ifelse(data$obs == lev[1], 1, 0)))
}

ctrl <- trainControl(classProbs = TRUE,
                     summaryFunction = foo)
set.seed(2)
mod <- train(Class ~ ., data = dat,
             method = "lda",
             metric = "rmse",
             minimize = TRUE,
             trControl = ctrl)

最高