r - 如何加快将数据加载到 R 中的速度？

Question

问题:

数据集需要 6-12 个小时才能加载到 R 中。更大的数据集即将到来，并且我当前的导入过程显然还没有为他们准备好。一旦全部在数据中框架大小不是问题；大多数操作只需要几秒钟，所以我的硬件可能不是问题。

注意:这个问题不是类似问题的重复，因为我已经实现了相关线程的大部分建议，例如指定 colClasses。

数据:

制表符分隔的文本文件中的行如下所示:

20  -0.5    1   2   1   1   19  0   119 30  exp(-31.3778)

加载数据:

我已经定义了几个函数，它们一起循环文件以加载将数据放入单个数据框中，然后将其保存为 blob。这是一个过程需要几个小时。该过程可预见地减慢并随着它的进行使用更多的内存； top 表示 R 正在使用 > 95% 的 CPU 和(更重要的是？)> 1.5 GB 的实际内存到数据文件的一半时。

# get numeric log from character data
extract_log <- function(x) {
  expr <- "exp\\((.*)\\)"
  substring <- sub(expr, "\\1", x)
  log <- as.numeric(substring)
  return(log)

# reads .dat files into data frames
read_dat <- function(x, colClasses = c(rep("numeric", 10), "character")) {
  df <- read.table(x, header = TRUE, sep = "\t", comment.char = "",
                   colClasses = colClasses)
  df <- cbind(df, log_likelihood = sapply(df$likelihood, extract_log))
  df$likelihood <- exp(df$log_likelihood)
  # drop nat. log col, add log10 column shifting data to max = 0
  df <- transform(df,
                  rlog_likelihood = log10(likelihood) - max(log10(likelihood)))
  return(df)
}

# creates a single data frame from many .dat files
df_blob <- function(path = getwd(), filepattern = "*.dat$",
                    outfile = 'df_blob.r', ...) {
  files <- list.files(path = path, pattern = filepattern, full.names = TRUE)
  progress_bar <- {
    txtProgressBar(min = 0, max = length(files),
                    title = "Progress",
                    style = 3)
  }
  df <- read_dat(files[1])
  setTxtProgressBar(progress_bar, 1)
  for (f in 2:length(files)) {
    df <- rbind(df, read_dat(files[f]))
    setTxtProgressBar(progress_bar, f)
  }
  close(progress_bar)
  save(df, file = outfile)
}

---

解决方案

所需时间已从数小时减少到数秒。

1. 使用 shell 脚本连接数据文件(所需时间约 12 秒)
2. 使用 sqldf 加载连接文件(所需时间约 6 秒)

用 shell 脚本连接数据文件(所需时间 ~12 秒)然后完全按照 JD Long's answer to a related question 中的描述使用 sqldf() 加载它们正如他在 blog post 中所描述的那样.

经验教训

Justin 和 Joran 的评论显着提高了我的 read.table() 方法的效率，对于较小的数据集，该方法应该可以正常工作。特别是 Justin 的建议，用 do.call(rbind, lapply(files, read_dat)) 替换 rbind(df, read_dat(files[f])) 对文件的循环> 将执行时间缩短约 2/3。其他建议的改进较为温和，但仍然值得。

Answer 1

基础 您遇到的一个大问题是read.table 不是很快。您可以通过设置 colClasses 和 nrows 对其进行调整，但归根结底，如果您的数据需要 12 小时才能加载，则您需要使用不同的技术。

更快的方法是将数据导入数据库，然后将其读入 R。JD Long 演示了一种使用 sqlite 数据库和 sqldf 包 in this answer 的方法。 MonetDB 和 MonetDB.R 包专为快速执行此类操作而设计，值得研究。

---

正如 Justin 和 Joran 都发现的那样，使用 rbind(df, read_dat(files[f])) 在循环中增量增长数据帧是一个巨大的瓶颈。如果完整数据集适合 RAM，更好的方法是使用 do.call(files, read.table)。 (如果没有，请使用上述方法将所有内容删除到数据库中，然后将您需要的内容拉入 R。)