R data.table fread 命令 : how to read large files with irregular separators?

Question

我必须处理大约 2 GB(525600 行 x 302 列)的 120 个文件的集合。目标是进行一些统计并将结果放入干净的 SQLite 数据库中。

当我的脚本使用 read.table() 导入时，一切正常，但速度很慢。所以我已经尝试过使用 data.table 包(版本 1.9.2)中的 fread，但它给了我这个错误:

Error in fread(txt, header = T, select = c("YYY", "MM", "DD",  : 
Not positioned correctly after testing format of header row. ch=' '

我的数据的前 2 行和 7 行如下所示:

 YYYY MM DD HH mm             19490             40790
 1991 10  1  1  0      1.046465E+00      1.568405E+00

因此，开头有第一个空格，然后日期列之间只有一个空格，然后其他列之间有任意数量的空格。

我尝试使用这样的命令来转换逗号中的空格:

DT <- fread(
            paste("sed 's/\\s\\+/,/g'", txt),
            header=T,
            select=c('HHHH','MM','DD','HH')
)

没有成功:问题仍然存在，使用 sed 命令似乎很慢。

Fread 似乎不喜欢“任意数量的空间”作为开始时的分隔符或空列。任何的想法 ？

这是一个(可能)最小的可重现示例(40790 之后的换行符):

txt<-print(" YYYY MM DD HH mm             19490             40790
 1991 10  1  1  0      1.046465E+00      1.568405E+00")

testDT<-fread(txt,
              header=T,
              select=c("YYY","MM","DD","HH")
)

谢谢你的帮助 !

更新 :
- data.table 1.8.* 不会发生错误。在此版本中，表被视为一个唯一的行，这并不好。

更新 2
- 正如评论中提到的，我可以使用 sed 来格式化表格，然后使用 fread 读取它。我在上面的答案中放置了一个脚本，我在其中创建了一个示例数据集，然后比较了一些 system.time()。

Answer 1

Just committed开发，v1.9.5。 fread() yield strip.white默认参数 TRUE (相对于 base::read.table() ，因为它更可取)。示例数据现在已添加到测试中。

通过最近的提交:

require(data.table) # v1.9.5, commit 0e7a835 or more recent
ans <- fread(" YYYY MM DD HH mm             19490             40790\n   1991 10  1  1  0      1.046465E+00      1.568405E+00")
#      V1 V2 V3 V4 V5           V6           V7
# 1: YYYY MM DD HH mm 19490.000000 40790.000000
# 2: 1991 10  1  1  0     1.046465     1.568405
sapply(ans, class)
#          V1          V2          V3          V4          V5          V6          V7 
# "character" "character" "character" "character" "character"   "numeric"   "numeric"