r - 使用 grep 快速检测包含任何值的列

Question

我有一个大型数据集，包含 5000 个变量和 300 万行。我想检查哪些列包含日期。我正在使用 data.table 并使用 fread 读取数据。为了知道哪些列包含日期，我运行了这个:

my[, lapply(.SD,function(xx) 
  length(grep("^\\d\\d?/\\d\\d?/\\d{4}$",xx))>0 ) ]

或与 any(grepl()) 相同

但是速度很慢。

有什么方法可以更快吗？也许强制 grep 在第一次遇到日期时停止？我认为(命令行)grep 可以选择这样做:

grep -m 1

但我认为它在 R 中不可用。

有什么想法吗？也欢迎使用 base R 或其他包的解决方案。

我也可以只处理 data.table 的几行，但有些列的值可能与 NA 不同，并且有可能丢失它们。

带有一些 NA 的非常简单的例子:

library(data.table)
set.seed(1)
siz <- 10000000
my <- data.table(
  AA=c(rep(NA,siz-1),"11/11/2001"),
  BB=sample(c("wrong", "11/11/2001"),siz, prob=c(1000000,1), replace=T),
  CC=sample(siz),
  DD=rep("11/11/2001",siz),
  EE=rep("HELLO", siz)
 )

我看到有一个选项 perl = FALSE 但我不知道它是否允许我添加额外的参数。

或者类似地我想知道在应该是日期的文件中是否有奇怪的符号。我可以在每一列上运行 grep，但如果能够在我的测试正确时立即停止，而不是继续运行到该列的末尾，那就太好了。

也许有一些额外的包，比如 stringi？

Answer 1

一个选项是只检查第一行(假设如果有一个“日期”类，它会选择它，除非第一个是缺失值)

my[1][, grepl("\\d{2}/\\d{2}/\\d{4}", unlist(.SD))]

除上述之外，正如@Frank 提到的，我们可以通过指定 .SDcols 来仅检查 character 类列的子集而不是整个列

j1 <- sapply(my, is.character)
my[, lapply(.SD, function(x) 
            length(grep("\\d{2}/\\d{2}/\\d{4}", x))>1), 
              .SDcols = j1]

基准

set.seed(24)
dat <- data.table(col1 = rnorm(1e6), col2 = "05/05/1942", 
      col3 = rnorm(1e6))

system.time(res <- dat[, lapply(.SD, function(x) 
                length(grep("\\d{2}/\\d{2}/\\d{4}", x))>1)])
# user  system elapsed 
#  6.33    0.01    6.35 

system.time(res2 <- dat[1][, grepl("\\d{2}/\\d{2}/\\d{4}", unlist(.SD))])
#   user  system elapsed 
#     0       0       0 


system.time({
  j1 <- sapply(dat, is.character)
  res3 <- dat[, lapply(.SD, function(x) 
     length(grep("\\d{2}/\\d{2}/\\d{4}", x))>1), .SDcols = j1]
  res3 <- names(dat) %in% names(res3)
     })
 #  user  system elapsed 
 #  0.43    0.00    0.44 



all.equal(unlist(res), res2, check.attributes = FALSE)
#[1] TRUE
all.equal(unlist(res), res3, check.attributes=FALSE) 
#[1] TRUE

如果有很多 NA，那么我们可以检查第一行是否有所有非 NA 元素

set.seed(24)
dat <- data.table(col1 = sample(c(NA, 1:10), 1e6, replace=TRUE),
     col2 = c(NA, "05/05/1942"),
     col3 = sample(c(NA, 1:5), 1e6, replace=TRUE))
dt1 <- head(dat, 20)
#Or just a sample of 20 rows from the dataset
#dt1 <- dat[sample(1:.N, 20, replace=TRUE)]
dt1[dt1[, which(!Reduce(`|`, lapply(.SD, is.na)))[1]]
     ][,  grepl("\\d{2}/\\d{2}/\\d{4}", unlist(.SD))]