r - R 中与 glmnet 和 LOOCV 相关的小问题

Question

我尝试使用 cv.glmnet 和 glmnet 使用留一交叉验证分割来拟合正则化模型(LASSO、Ridge、ElasticNet)。

我用过这个DATASET ，数据集有 517 行和 13 列(其中两列是分类变量)。因变量是“面积”。

我想构建一个没有分类变量的模型。然后计算每次 LOOCV 运行的系数平均值，以及 R 平方平均值和均方根平均值。

数据集的最后 10 行如下

tail(wdbc,10)
    X Y month day FFMC   DMC    DC  ISI temp RH wind rain  area
508 2 4   aug fri 91.0 166.9 752.6  7.1 25.9 41  3.6  0.0  0.00
509 1 2   aug fri 91.0 166.9 752.6  7.1 25.9 41  3.6  0.0  0.00
510 5 4   aug fri 91.0 166.9 752.6  7.1 21.1 71  7.6  1.4  2.17
511 6 5   aug fri 91.0 166.9 752.6  7.1 18.2 62  5.4  0.0  0.43
512 8 6   aug sun 81.6  56.7 665.6  1.9 27.8 35  2.7  0.0  0.00
513 4 3   aug sun 81.6  56.7 665.6  1.9 27.8 32  2.7  0.0  6.44
514 2 4   aug sun 81.6  56.7 665.6  1.9 21.9 71  5.8  0.0 54.29
515 7 4   aug sun 81.6  56.7 665.6  1.9 21.2 70  6.7  0.0 11.16
516 1 4   aug sat 94.4 146.0 614.7 11.3 25.6 42  4.0  0.0  0.00
517 6 3   nov tue 79.5   3.0 106.7  1.1 11.8 31  4.5  0.0  0.00

我尝试的代码如下

set.seed(123) 
  data <- read.csv("https://archive.ics.uci.edu/ml/machine-learning-databases/forest-fires/forestfires.csv") 
  data<-data[-(3:4)] 
  nrFolds <- 517
  folds <- rep_len(1:nrFolds, nrow(data))
  for(k in 1:nrFolds) {
      fold <- which(folds == k)
      data.train <- data[-fold,]
      data.test <- data[fold,]
      x.train <- as.matrix(data.train[-11])
      y.train <- as.matrix(data.train[11])
      x.test <- as.matrix(data.test[-11])
      y.test <- as.matrix(data.test[11])
      cv <- cv.glmnet(x.train, y.train, alpha = 0)
      # cv$lambda.min
      model <- glmnet(x.train, y.train, alpha = 0, lambda = cv$lambda.min)
      coef(model) 
      predictions <- model %>% predict(x.test) %>% as.vector()
      RMSE <- RMSE(predictions, data.test$area)
      Rsquare <- R2(predictions, data.test$area)
      LL <- list(cv,model,coef(model),predictions, RMSE,Rsquare)
  }
  LL

代码只给我一个预测值! R 方具有 NA 值!另外，我不确定使用 cv.glmnet 和 glmnet 进行留一交叉验证分割是否正确。

任何有帮助的想法都会受到赞赏。

已更新

我尝试使用caret包

我首先使用 LOOCV 分割数据集，因为我希望每个观察结果都处于测试过程中。然后我使用 train 函数来实现我在问题中的初步想法。

我的代码

data <- read.csv("https://archive.ics.uci.edu/ml/machine-learning-databases/forest-fires/forestfires.csv") 
data<-data[-(3:4)] 
lambda <- 10^seq(-3, 3, length = 100)
predictions <- rep(0,nrow(data))
set.seed(123)
for(i in 1:nrow(data)){
  test.data<-data[i,]
  train.data<-data[-i,]
ridge <- train(
  area ~., data = train.data, method = "glmnet",
  trControl = trainControl("loocv", number = 517),
  tuneGrid = expand.grid(alpha = 0, lambda = lambda))
  coefs=coef(ridge$finalModel, ridge$bestTune$lambda)
  predictions[i] <- ridge %>% predict(test.data)
  RMSE = RMSE(predictions, test.data$area)
  Rsquare = R2(predictions, test.data$area)
  LL<-list(RMSE,Rsquare,coefs,predictions) 
}

这段代码还给了我以下错误

Error in cor(obs, pred, use = ifelse(na.rm, "complete.obs", "everything")) : 
  incompatible dimensions
In addition: Warning message:
In nominalTrainWorkflow(x = x, y = y, wts = weights, info = trainInfo,  :
  There were missing values in resampled performance measures.

更多更新

我还使用 caret 包(例如 Ridge)编写了以下代码

set.seed(123)
data <- read.csv("forestfires.csv") 
data<-data[-(3:4)]  
lambda.grid <-10^seq(10,-2, length =100)
alpha.grid<- 0 #Ridge 
control <- trainControl(method="LOOCV")
srchGrd = expand.grid(alpha = alpha.grid, lambda = lambda.grid)
lm_model <- train(area ~ . , data=data, trControl=control,tuneGrid=srchGrd,method = 'glmnet')
lm_model
coef(lm_model$finalModel, lm_model$bestTune$lambda)

我现在是吗？

Answer 1

好吧，既然你都这么说了，问题就很明显了。每次进入循环时，都会为 LL 分配一个新值。 LL 不保存所有结果，仅保存最后一个结果。尝试一下

LL <- lapply(1:nrFolds, function(k) {
  fold <- which(folds == k)
  data.train <- data[-fold,]
  data.test <- data[fold,]
  x.train <- as.matrix(data.train[-11])
  y.train <- as.matrix(data.train[11])
  x.test <- as.matrix(data.test[-11])
  y.test <- as.matrix(data.test[11])
  cv <- cv.glmnet(x.train, y.train, alpha = 0)
  # cv$lambda.min
  model <- glmnet(x.train, y.train, alpha = 0, lambda = cv$lambda.min)
  coef(model) 
  predictions <- model %>% predict(x.test) %>% as.vector()
  RMSE <- RMSE(predictions, data.test$area)
  Rsquare <- R2(predictions, data.test$area)
  list(CV=cv, model=model, coefs=coef(model), preds=predictions, rmse=RMSE, r2=Rsquare)
})

但是，请查看插入符包:它会自动创建折叠和测试。另外，我会事后计算 RMSE 和 R²。

编辑:是的，R2 是NA。这是因为在上面的代码中，尝试了留一 CV。上面的 rep_len 返回与 1:517 相同，因此 fold 基本上是 1 到 517 之间的数字，每个 data.train 有 516 列，data.test 是一个向量。因此，predictions 是一个长度为 1 的向量，无法计算 R2。

但是，预测会正确返回。

preds <- sapply(LL, function(x) x$preds)

并不是说它们非常好，而是问题是关于运行 glmnet，而不是如何做出最佳预测。

编辑2:关于您更新的代码。发生的情况如下:首先用 517 个零初始化向量预测。在循环的第一次迭代中，您告诉 caret 在包含 516 个样本的训练集上生成 517 LOO。然后 Caret 返回优化的岭模型(加上许多您忽略的信息，例如每个测试参数值的 RMSE)。然后，您对测试集(即一个样本)进行预测。您在 predictions 向量中输入这一单个样本，该向量现在包含 1 个预测和 516 个零。然后，您尝试计算预测(由一个预测和 516 个零组成的向量)和测试响应(由一个值组成的向量)之间的 R2 和 RMSE。不出意料，这失败了。然后将其全部存储在名为 LL 的列表中，下次运行循环时该列表将被覆盖。

我会如何做:删除 33% 的数据作为验证。使用剩余的 66% 和插入符来训练单个模型(在插入符中使用 LOOCV 或 K-FOLD 来优化参数)。检查插入符的输出；确保查看插入符号提供的 RMSE(如果您使用 LOOCV 以外的其他内容，则查看 R²)。然后，在验证集上测试模型的性能。