r - 如何在不增加内存消耗的情况下绑定(bind)data.table？

Question

我有几个巨大的数据表dt_1, dt_2, ..., dt_N与相同的列。我想将它们绑定(bind)成一个 datatable .如果我使用

dt <- rbind(dt_1, dt_2, ..., dt_N)

或者

dt <- rbindlist(list(dt_1, dt_2, ..., dt_N))

那么内存使用量大约是 dt_1,dt_2,...,dt_N 所需数量的两倍.有没有办法在不显着增加内存消耗的情况下绑定(bind)它们？请注意，我不需要 dt_1, dt_2, ..., dt_N一旦它们结合在一起。

Answer 1

其他方法，使用临时文件“绑定(bind)”:

nobs=10000
d1 <- d2 <- d3 <-  data.table(a=rnorm(nobs),b=rnorm(nobs))
ll<-c('d1','d2','d3')
tmp<-tempfile()

# Write all, writing header only for the first one
for(i in seq_along(ll)) {
  write.table(get(ll[i]),tmp,append=(i!=1),row.names=FALSE,col.names=(i==1))
}

# 'Cleanup' the original objects from memory (should be done by the gc if needed when loading the file
rm(list=ll)

# Read the file in the new object
dt<-fread(tmp)

# Remove the file
unlink(tmp)

明显比 rbind慢方法，但是如果您有内存争用，这不会比要求系统换出内存页面慢。

当然，如果您的原始对象首先是从文件加载的，那么在加载到 R 之前，最好使用另一个最适合处理文件的工具(cat、awk 等)连接文件。