r - 阅读非常大的NDJSON

Question

我有一个33GB的NDJSON文件，我需要读入R中的data.table。它压缩为2GB的文件，理想情况下，我想将其压缩。

该结构不是很重要，除了（通过jsonlite::stream_in导入时），我需要的数据仅在几个简单的列中。我想尽快丢弃的三列中的绝大多数数据权重保存在list中。

我的两个挑战是：如何并行化读入内容，以及如何限制内存使用量（现在此文件的工作人员正在使用175GB内存）？

我现在在做什么：

dt.x <- data.table(flatten(stream_in(gzfile("source.gz"))[, -c(5:7)]))

想法：

也许有某种方法可以在stream_in期间忽略NDJSON的一部分？

我可以在连接到gzfile之前解析stream_in连接，例如使用正则表达式，以删除多余的数据吗？

我可以在readLines连接上执行类似gzfile的操作来读取每个工人100万行的数据吗？

编辑：如果有可能，我的目标是使它可移植给其他用户，并将其完全保留在R中。

Answer 1

在阅读器中使用jqr

这是一个说明如何使用jqr读取压缩的NDJSON（aka JSONL）文件的记录：

$ R --vanilla
> library(readr)
> library(jqr)
> read_lines("objects.json.gz") %>% jq('.a')
[
    1,
    2,
    3
]
> 

使用 read_file()会产生相同的结果。由于这些功能必须解压缩整个文件，因此内存需求将很大。

分别读取每个JSON实体

由于文件是NDJSON，因此可以通过一次读取一个JSON实体来大大减少所需的RAM数量：

con = file("objects.json", "r");
while ( length(line <- readLines(con, n = 1)) > 0) {
   print( line %>% jq('.a') );
}

q

也许有更好的方法来使用jqr，但是如果目标是同时兼顾空间和时间效率，那么最好使用命令行版本的jq。

计数

如果您需要事先计算（未压缩的）文件中的行数，那么为了节省内存，我可能会尽可能使用 system2和 wc；其他所有失败的方法，您可以运行如下代码段：

n<-0;
con = file("objects.json", "r");
while (TRUE) {
   readLines(con, n = 1);
   if (length(line) == 0) { break; }
    n <- n+1;
}