在 r 中读取大文本文件

Question

我想读入一个只有不到 110,000,000 行和 8 列的大型 ido 文件。这些列由 2 个整数列和 6 个逻辑列组成。分隔符 "|"在文件中使用。我尝试使用 read.big.matrix它花了很长时间。我也试过 dumpDf它用完了RAM。我试过 ff我听说这是一个很好的包，我正在努力解决错误。如果我能以某种方式阅读它，我想用这张表做一些分析。如果有人有任何建议，那就太好了。
亲切的问候，
洛坎

Answer 1

谢谢你的所有建议。我设法弄清楚为什么我无法使错误起作用。我会给你所有的答案和建议，所以没有人可以再犯我的愚蠢错误。

首先，提供给我的数据包含一些错误，所以我从一开始就注定要失败。直到一位同事在另一款软件中发现它时，我才意识到这一点。在包含整数的列中有一些字母，因此当 read.table.ff包试图读入数据集它不知何故弄糊涂了，或者我不知道。不管我得到了另一个数据样本，16,000,000 行和 8 列的正确条目，它工作得很好。我运行的代码如下，阅读了大约 30 秒:

setwd("D:/data test")
library(ff)
ffdf1 <- read.table.ffdf(file = "test.ido", header = TRUE,  sep = "|")

感谢大家的时间，如果您对答案有任何疑问，请随时提出，我会尽力提供帮助。