regex - R:在第一个分隔符出现时快速拆分字符串

Question

我有一个包含约 4000 万行的文件，我需要根据第一个逗号分隔符对其进行拆分。

以下使用stringr功能 str_split_fixed效果很好，但速度很慢。

library(data.table)
library(stringr)

df1 <- data.frame(id = 1:1000, letter1 = rep(letters[sample(1:25,1000, replace = T)], 40))
df1$combCol1 <- paste(df1$id, ',',df1$letter1, sep = '')
df1$combCol2 <- paste(df1$combCol1, ',', df1$combCol1, sep = '')

st1 <- str_split_fixed(df1$combCol2, ',', 2)

对更快的方法有什么建议吗？

Answer 1

更新
stri_split_fixed “stringi”的最新版本中的函数有 simplify可设置为 TRUE 的参数返回一个矩阵。因此，更新的解决方案将是:

stri_split_fixed(df1$combCol2, ",", 2, simplify = TRUE)

原始答案(带有更新的基准)

如果您对“stringr”语法感到满意并且不想偏离它太远，但您也想从速度提升中受益，请尝试使用“stringi”包:

library(stringr)
library(stringi)
system.time(temp1 <- str_split_fixed(df1$combCol2, ',', 2))
#    user  system elapsed 
#    3.25    0.00    3.25 
system.time(temp2a <- do.call(rbind, stri_split_fixed(df1$combCol2, ",", 2)))
#    user  system elapsed 
#    0.04    0.00    0.05 
system.time(temp2b <- stri_split_fixed(df1$combCol2, ",", 2, simplify = TRUE))
#    user  system elapsed 
#    0.01    0.00    0.01

大多数“stringr”函数都有“stringi”并行，但从这个例子可以看出，“stringi”输出需要一个额外的步骤来绑定(bind)数据以将输出创建为矩阵而不是列表。

以下是它与@RichardScriven 在评论中的建议的比较:

fun1a <- function() do.call(rbind, stri_split_fixed(df1$combCol2, ",", 2))
fun1b <- function() stri_split_fixed(df1$combCol2, ",", 2, simplify = TRUE)
fun2 <- function() {
  do.call(rbind, regmatches(df1$combCol2, regexpr(",", df1$combCol2), 
                            invert = TRUE))
} 

library(microbenchmark)
microbenchmark(fun1a(), fun1b(), fun2(), times = 10)
# Unit: milliseconds
#     expr       min        lq      mean    median        uq       max neval
#  fun1a()  42.72647  46.35848  59.56948  51.94796  69.29920  98.46330    10
#  fun1b()  17.55183  18.59337  20.09049  18.84907  22.09419  26.85343    10
#   fun2() 370.82055 404.23115 434.62582 439.54923 476.02889 480.97912    10