javascript - 在 Node JS 中获取、操作和编写(响应)巨大 JSON 的最佳方式？

Question

我的预期任务:获取大量数据(1 GB 及更多大小)json 字符串，操作(进行一些格式化、解析 json、重组 json 数据)并写入新格式化的 json 字符串作为响应。处理这种情况的更好方法是什么？

从一些博客中我发现在流中存储大量数据是处理大量数据的有效方法，但是如何操作流数据？

我遇到的异常/错误: fatal error :CALL_AND_RETRY_2 分配失败 - 进程内存不足中止(核心转储)

输入 JSON:

“文档”:[
{
"note_text": ["7657011|20MAR08|somehugedata|||7657012|20MAR09|somehugedata"],
id:“c123”
},
{
"note_text": ["7657001|2008 年 3 月 23 日|一些巨大数据|||7657002|2008 年 3 月 21 日|一些巨大数据"],
id:“c124”
}
]

新格式的 JSON:

“文档”:[
{
id:“c123”，
note_text : "一些巨大的数据",
日期 : "2008 年 3 月 20 日"
note_id:“7657011”
},
{
id:“c123”，
note_text : "一些巨大的数据",
日期 : "2009 年 3 月 20 日"
note_id:“7657012”
},
{
id:“c124”，
note_text : "一些巨大的数据",
日期 : "2008 年 3 月 23 日"
note_id:“7657001”
},
{
id:“c124”，
note_text : "一些巨大的数据",
日期:“2008 年 3 月 21 日”
note_id:“7657002”
}
]

Answer 1

看看JSONStream 。有了它，您不必将整个巨大的 JSON blob 加载到内存中。您将一一处理源 JSON 中的对象，并在 JSONStream.parse() 中为它们指定正确的选择模式。