javascript - 在 Nodejs 中解析大型 JSON 文件

Question

我有一个以 JSON 格式存储许多 JavaScript 对象的文件，我需要读取该文件，创建每个对象，并对它们进行处理(在我的情况下将它们插入数据库)。 JavaScript 对象可以用一种格式表示:

格式 A:

[{name: 'thing1'},
....
{name: 'thing999999999'}]

或格式B:

{name: 'thing1'}         // <== My choice.
...
{name: 'thing999999999'}

请注意，... 表示很多 JSON 对象。我知道我可以将整个文件读入内存，然后像这样使用 JSON.parse():

fs.readFile(filePath, 'utf-8', function (err, fileContents) {
  if (err) throw err;
  console.log(JSON.parse(fileContents));
});

但是，文件可能非常大，我更喜欢使用流来完成此操作。我在流中看到的问题是文件内容可以在任何时候分解成数据 block ，那么如何在这些对象上使用 JSON.parse() 呢？

理想情况下，每个对象都将作为单独的数据 block 读取，但我不确定如何做到这一点。

var importStream = fs.createReadStream(filePath, {flags: 'r', encoding: 'utf-8'});
importStream.on('data', function(chunk) {

    var pleaseBeAJSObject = JSON.parse(chunk);           
    // insert pleaseBeAJSObject in a database
});
importStream.on('end', function(item) {
   console.log("Woot, imported objects into the database!");
});*/

注意，我希望防止将整个文件读入内存。时间效率对我来说并不重要。是的，我可以尝试一次读取多个对象并将它们全部插入，但这是一个性能调整 - 我需要一种保证不会导致内存过载的方法，无论文件中包含多少对象.

我可以选择使用 FormatA 或 FormatB 或其他方式，请在您的回答中说明。谢谢!

Answer 1

要逐行处理文件，您只需将文件的读取和作用于该输入的代码解耦。您可以通过缓冲输入来完成此操作，直到您点击换行符。假设我们每行有一个 JSON 对象(基本上是格式 B):

var stream = fs.createReadStream(filePath, {flags: 'r', encoding: 'utf-8'});
var buf = '';

stream.on('data', function(d) {
    buf += d.toString(); // when data is read, stash it in a string buffer
    pump(); // then process the buffer
});

function pump() {
    var pos;

    while ((pos = buf.indexOf('\n')) >= 0) { // keep going while there's a newline somewhere in the buffer
        if (pos == 0) { // if there's more than one newline in a row, the buffer will now start with a newline
            buf = buf.slice(1); // discard it
            continue; // so that the next iteration will start with data
        }
        processLine(buf.slice(0,pos)); // hand off the line
        buf = buf.slice(pos+1); // and slice the processed data off the buffer
    }
}

function processLine(line) { // here's where we do something with a line

    if (line[line.length-1] == '\r') line=line.substr(0,line.length-1); // discard CR (0x0D)

    if (line.length > 0) { // ignore empty lines
        var obj = JSON.parse(line); // parse the JSON
        console.log(obj); // do something with the data here!
    }
}

文件流每次从文件系统接收数据时，都会将其存储在缓冲区中，然后调用pump。

如果缓冲区中没有换行符，pump 会直接返回而不做任何事情。下次流获取数据时，会将更多数据(可能还有换行符)添加到缓冲区中，然后我们将拥有一个完整的对象。

如果有换行符，pump 将缓冲区从开头切到换行符，并将其交给 process。然后它再次检查缓冲区中是否有另一个换行符(while 循环)。这样，我们就可以处理当前 block 中读取的所有行。

最后，process 每输入行调用一次。如果存在，它会去掉回车符(以避免出现行尾问题 - LF vs CRLF)，然后在一行中调用 JSON.parse。此时，您可以对您的对象做任何您需要的事情。

请注意，JSON.parse 对它接受的输入内容是严格的；您必须用双引号引用您的标识符和字符串值。换句话说，{name:'thing1'} 会抛出错误；你必须使用 {"name":"thing1"}.

因为一次不会超过一 block 数据在内存中，这将是非常节省内存的。它也将非常快。快速测试显示我在 15 毫秒内处理了 10,000 行。