r - 在 R 中返回 data.table 或 data.frame 时避免重复内存分配的技巧？

Question

我创建了一个函数，它被调用来读入然后返回一个 data.table:

read.in.data <- function(filename)
{
    library(data.table)
    data.holder<-read.table(filename, skip=1)
    return(data.table(data.holder))
}

我通过观察我的 RAM 作为函数处理 R 似乎分两步处理它(或者至少这是我对正在发生的事情的最佳猜测)注意到。例如，当我加载一个 1.5 GB 的文件(15 列，每行总共 136 个字符)时，R 似乎 1) 读入数据并使用 1.5 GB 的 RAM，然后 2) 使用另外 1.5 GB 的 RAM返回。

是否有一些技巧可以创建一个函数来创建一个 data.table(或 data.frame)并返回 data.table 而不需要在内存中重复？或者我必须在创建表的函数中对 data.table 进行所有处理吗？

观察:
如果我连续两次运行这段代码，内存不会被清除；由于我只有 8 GB 的 RAM，因此该功能失败。如果我跳过将“read.table”存储在变量中的步骤(如下所示)，我不会得到任何好处。我不想以任何方式这样做，因为我希望能够在返回之前清理 data.table。修复我的问题还可以让我在不耗尽内存的情况下处理更大的文件。

short.read.trk <- function(fntrk)
{
    library(data.table)
    return(data.table(read.table(fntrk, skip=1)))
}

Answer 1

如果内存节省主要是您所追求的，您可以一次转换一列:

library(data.table)
read.in.data <- function(filename)
{
  data.holder <- read.table(filename, skip=1)
  dt <- data.table(data.holder[[1]])
  names(dt) <- names(data.holder)[1]
  data.holder[[1]] <- NULL

  for(n in names(data.holder)) {
    dt[, `:=`(n, data.holder[[n]]) ]
    data.holder[[n]] <- NULL
  }
  return(dt)
}

(未经测试)

它不会更快，实际上它可能会更慢。但它应该少浪费内存。