node.js - 如果 800k 记录需要 50 秒，随着服务器变得理想，队列中的所有 http 待处理请求将阻塞 50 秒

Question

如果 800k 记录需要 50 秒，则队列中的所有 http 待处理请求将阻塞 50 秒，因为服务器变得理想。

var http = require("http");
var url = require("url");
var MongoClient = require('mongodb').MongoClient

http.createServer(function(request, response) {

if (url.parse(request.url).pathname == '/search'){

    var collection = db.collection('documents');
   // suppose it takes 800k record in 40 secs all request would be block until response end
    collection.find({}).toArray(function(err, docs) {

      console.log("Found the following records");
      console.dir(docs);

      response.writeHead(200, {"Content-Type": "text/plain"});
      response.write(JSON.stringify(docs));
      response.end();
    });
}
else
{
  response.writeHead(200, {"Content-Type": "text/plain"});
  response.write(0 + '');
  response.end();
}
}).listen(8888);

Answer 1

MongoDB 的原生 nodejs 驱动 supports streaming .它提供了一个可读的流，您可以将其通过管道传递给响应。 (可选)编写转换流以动态转换文档。

 collection.find({}).stream().pipe(myTransform).pipe(response);

这种方法不会等待将所有文档加载到内存中(toArray())，然后再加载它(JSON.stringify())。它将继续将数据从 mongdb 转发到响应，并进行一些缓冲。