javascript - 如何解析大数据？

Question

关闭。此题需要 details or clarity 。目前不接受答案。

---

想要改进这个问题吗？通过 editing this post 添加详细信息并澄清问题.

已关闭 7 个月前。

Improve this question

我有一个express.js应用。用户请求mysite.com/something他们收到大量文本。在每个请求之后，我需要解析数据(例如，在文本中查找某些内容并将其放入我的 Redis 数据库中)。

app.get('something', function (req, res) {
    var data = //getting data
    res.send(data);
    //parsing data
});

问题在于解析数据需要太多时间，而且它是同步的，这意味着用户必须等到解析完成才能获取数据。

有没有办法解析另一个 .js 文件中的数据并让用户立即获得结果？

Answer 1

如果数据量很大，应该考虑使用 Node 流来解析。使用through2轻松创建转换流。使用流，您将一次处理一个数据 block (一个对象、一个 csv 行、一个 xml 标签)，立即将其流式传输到逐 block 响应。

此外，您永远不应该在应用程序中使用任何同步代码。一切都应该是异步的。