R - 合并多个大型数据帧(整理)

Question

我更愿意在 R 中执行以下操作，但我愿意接受(易于学习的)其他解决方案。

我有多个(比如说 99 个)制表符分隔文件(我们称它们为 S1.txt 到 S99.txt)和表格，所有文件都具有完全相同的格式。每个表是 ~2,000,000 cols x 5 行。这是一个玩具示例:

ID    Chr    Position    DP1    DP2
A1    1       123        1.5    2.0
A2    1       124        1.4    0.3

根据定义，ID 是唯一的并且总是以相同的顺序排列，Chr 和 Pos 总是以相同的顺序排列。每个输入文件中唯一不同的是 DP1 列和 DP2 列。我想被“整理”的输出表，我想就是这个词。以下是只有 3 个示例输入文件时的输出示例。

ID    Chr    Position    S1.DP1  S1.DP2    S2.DP1    S2.DP2  S3.DP1  S3.DP2
A1    1       123        1.5      2.0       1.2        2.0     1.5     2.1
A2    1       124        1.4      0.3       1.0        0.5     0.5     0.05

请注意，每个输入文件都有一个为 DP1 和 DP2 创建的新列。此外，列的名称是信息性的(告诉我它来自哪个输入文件以及哪个数据点 - DP)。

当列不同时，我发现了问题: R: merging a lot of data.frames我也知道合并，虽然我觉得你最终得到了奇怪的列名: How to join (merge) data frames (inner, outer, left, right)?

我的另一个解决方案是初始化一个数据帧，然后加载每个文件并添加数据点，但这会使用一个循环，而且非常缓慢和可怕。所以，我需要一个更优雅的解决方案。感谢您的帮助。

Answer 1

我重新阅读了您的问题并想到了一个更好的解决方案。

首先，我不会一次将所有 .txt 文件加载到 R 中。如果您的 .txt 文件是 2e6x5 并且有 100 个文件，您可能会在加载所有文件之前耗尽 RAM。我会一次加载一个，然后迭代合并它们。

library(readr) #Use this to load your data, it is much better than the base functions

f <- list.files(path = "path/to/file", pattern = "*.txt", full.names = TRUE)

d <- read_delim(f[1], delim = "\t") 

idx = c("ID", "Chr", "Position")

for (i in seq(2, length(f)){

    d_temp <- read_delim(f[i], delim = "\t")

    d <- merge(d, d_temp, by = idx)

    rm(d_temp) #not necessary but I like to include to make explicit
}

命名d

n <- expand.grid(paste0("S", seq(1, length(f)), c("DP1", "DP2"))
names(d)[!names(d) %in% idx] <- paste(n[ ,1], n[ ,2], sep = ".")

更新

呃，我错过了一个明显的事实，如果你真的有 100 个 2e6x5 .txt 文件，你可能无法使用 R 来完成这项任务。我怀疑是否有可能在 R 中存储 2e6X500 数据帧。即使您在具有大量 RAM 计算时间的服务器上也是如此。我认为 future 最重要的问题是你想用这些数据做什么。一旦您回答了这个问题，您就可以有效地使用您的数据。