r - 高效地将大文件中的特定行读取到 R 中

Question

我对 R 从大文件 (11GB+) 中读取特定行所需的时间感到惊讶。例如:

> t0 = Sys.time()
> read.table('data.csv', skip=5000000, nrows=1, sep=',')
      V1       V2 V3 V4 V5   V6    V7
1 19.062 56.71047  1 16  8 2006 56281
> print(Sys.time() - t0)
Time difference of 49.68314 secs

OSX 终端可以立即返回特定行。有谁知道 R 中更有效的方法吗？

Answer 1

你可以使用这样的东西

 dat <- read.table(pipe("sed -n -e'5000001p' data.csv"), sep=',')

仅读取使用其他 shell 工具提取的行。

另请注意，system.time(someOps) 是一种更简单的测量时间的方法。