mysql - R - 从文件中读取特定行

Question

假设我有多个文件，每个文件有 15,000 行和 40,000 列。我事先确定我只需要每个文件的最后 5 行。 (例如，我需要第 14996、14997、14998、14999 和 15000 行)。

在 R 中，我一直在使用带有“skip”和“nrows”参数的 read.table() 遍历每个文件，以从每个文件中提取我需要的行，而不是将整个文件读入 R。不幸的是，它需要很长一段时间，使用 skip 参数，R 到达 15,000 x 40,000 表的最后五行。有没有一种简单快捷的方法来提取我需要的行？我应该试用 mySQL 吗？

Answer 1

这可能比 read.table()

快得多

lapply(files, data.table::fread, skip = 14995L, nrow = 5L)

files 是您的文件名列表。

更新:根据您的评论，我想您会想在read.table() 中尝试gzfile()。你没有提到你在之前的尝试中是否使用过它。

dflist <- lapply(files, function(x) {
    df <- read.table(zz <- gzfile(x), skip = 14995L, nrow = 5L)
    close(zz)
    df
})