使用正则表达式通过 readr 读取列

Question

我需要导入具有不同列号的数据文件。最后，该代码应该由其他对 R 不太熟悉的同事使用。因此它应该是健壮的，并且最好没有警告消息。主要问题是 header 总是以附加的“,”结尾，这不会出现在下面的数据中。除了一大堆未使用的列之外，所需的列始终以相同的方式标记。 IE。列名中总是包含某个字符串，但整个列名不一定相同。

示例代码非常简单地近似于我的文件。首先，我想消除由于标题末尾的错误逗号而导致的错误消息。类似skip_col = ncol(headder)。其次，我想只读取列名称中包含 "*des*" 的列。

在这个简化的示例中，我处理它的方法看起来很简单，但在我更复杂的代码中却不太令人满意。

library(tidyverse)

read_csv("date,col1des,col1foo,col2des,col3des,col2foo,col3foo, 
          2015-10-23T22:00:00Z,0.6,-1.5,-1.3,-0.5,1.8,0 
          2015-10-23T22:10:00Z,-0.5,-0.6,1.5,0.1,-0.3,0.3
          2015-10-23T22:20:00Z,0.1,0.2,-1.6,-0.1,-1.4,-0.4
          2015-10-23T22:30:00Z,1.7,-1.2,-0.2,-0.4,0.3,0.3")

if (length(grep("des", names(data))) > 0) {
  des <- data[grep("des", names(data))]
  des <- bind_cols(date = data$date, des)
}

因此，在我的完整代码中，我收到以下警告消息:

1. Missing column names filled in: 'X184' [184] 
2. Duplicated column names deduplicated: [long list of unrequired columns with dublicated names]

我希望能在 tidyverse 中找到解决方案。据我发现不可能直接在 read_csv 调用中使用正则表达式来指定列名称，对吧？因此，也许唯一的方法是首先读取 header 并从中构建 cols() 调用。但这超出了我的 R 知识范围。

编辑:

我想知道这样的事情是否可能:

headline <- "date,col1des,col1foo,col2des,col3des,col2foo,col3foo,"
head     <- headline %>% strsplit(",") %>% unlist(use.names = FALSE)
head_des <- head[grep("des", head)]
data     <- read_csv("mydata.csv", col_types = cols_only(head_des[1] = "d", head_des[2] = "d"))

我想在读取整个数据之前grep()列名。

Answer 1

编辑编号2

对您的评论的回应；这适用于您的数据字符串:

library(tidyverse)
yourData <- "date,col1des,col1foo,col2des,col3des,col2foo,col3foo, 
          2015-10-23T22:00:00Z,0.6,-1.5,-1.3,-0.5,1.8,0 
          2015-10-23T22:10:00Z,-0.5,-0.6,1.5,0.1,-0.3,0.3
          2015-10-23T22:20:00Z,0.1,0.2,-1.6,-0.1,-1.4,-0.4
          2015-10-23T22:30:00Z,1.7,-1.2,-0.2,-0.4,0.3,0.3"

data <- suppressWarnings(read_csv(yourData))

header <- names(data)
colList <- ifelse(str_detect(header,'des'),'c','_') %>% as.list
suppressWarnings(read_csv(yourData,col_types = do.call(cols_only, colList)))
#> # A tibble: 4 x 3
#>   col1des col2des col3des
#>   <chr>   <chr>   <chr>  
#> 1 0.6     -1.3    -0.5   
#> 2 -0.5    1.5     0.1    
#> 3 0.1     -1.6    -0.1   
#> 4 1.7     -0.2    -0.4

<小时/>

编辑

在 this 的帮助下尝试满足您编辑后的愿望帖子:

library(tidyverse)


header <- suppressWarnings(readLines('file.csv')[1]) %>% 
  str_split(',',simplify = T)
colList <- ifelse(str_detect(header,'des'),'c','_') %>% as.list
suppressWarnings(read_csv(file = 'file.csv',col_types = do.call(cols_only, colList)))
#> # A tibble: 4 x 3
#>   col1des col2des col3des
#>   <chr>   <chr>   <chr>  
#> 1 0.6     -1.3    -0.5   
#> 2 -0.5    1.5     0.1    
#> 3 0.1     -1.6    -0.1   
#> 4 1.7     -0.2    -0.4

<小时/>

这是我能想到的最强大、最tidyverse的方式:

library(tidyverse)

file <- suppressWarnings(readLines('file.csv')) %>% 
  str_split(',') 
dims <- file %>% map_int(~length(.))
if(any(dims != median(dims))){
  file[[which(dims != median(dims))]] <- file[[which(dims != median(dims))]][1:median(dims)]
}
data <- file %>% map_chr(~paste(.,collapse = ',')) %>% 
  paste(., sep = '\n') %>% read_csv
(data <- data %>% select(which(str_detect(names(data), pattern = 'des'))))
#> # A tibble: 4 x 3
#>   col1des col2des col3des
#>     <dbl>   <dbl>   <dbl>
#> 1     0.6    -1.3    -0.5
#> 2    -0.5     1.5     0.1
#> 3     0.1    -1.6    -0.1
#> 4     1.7    -0.2    -0.4

其中 file.csv 包含您的数据。