javascript - 如何延迟读取带有 node.js 或 javascript 的文件行，而不是非阻塞行为？

Question

我正在 node.js 中读取一个文件(300,000 行)。我想以 5,000 行为一组将行发送到另一个应用程序 (Elasticsearch) 以存储它们。因此，每当我读完 5,000 行时，我想通过 API 将它们批量发送到 Elasticsearch 以存储它们，然后继续读取文件的其余部分并批量发送每 5,000 行。

如果我想使用 java(或任何其他阻塞语言，如 C、C++、python 等)来完成此任务，我将执行如下操作:

int countLines = 0;
String bulkString = "";
BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream("filePath.txt")));
while ((currentLine = br.readLine()) != null) {
     countLines++;
     bulkString += currentLine;
     if(countLines >= 5000){
          //send bulkString to Elasticsearch via APIs
          countLines = 0;
          bulkString = "";
     }
}

如果我想用 node.js 做同样的事情，我会做:

var countLines = 0;
var bulkString = "";
var instream = fs.createReadStream('filePath.txt');
var rl = readline.createInterface(instream, outstream);
rl.on('line', function(line) {
     if(countLines >= 5000){
          //send bulkString to via APIs
          client.bulk({
          index: 'indexName',
          type: 'type',
          body: [bulkString]
          }, function (error, response) {
          //task is done
          });
          countLines = 0;
          bulkString = "";
     }
}

问题 node.js 是非阻塞的，因此它不会在发送下一批行之前等待第一个 API 响应。我知道这可以算是 done.js 的一个好处，因为它不等待 I/O，但问题是它向 Elasticsearch 发送了太多数据。因此 Elasticsearch 的队列将变满并抛出异常。

我的问题 是如何让 node.js 在继续读取下一行或将下一批行发送到 Elasticsearch 之前等待 API 的响应。

我知道我可以在 Elasticsearch 中设置一些参数来增加队列大小，但我对针对此问题阻止 node.js 的行为感兴趣。我很熟悉回调的概念，但是我想不出在这种情况下使用回调的方法来防止node.js以非阻塞模式调用Elasticsearch API。

Answer 1

皮埃尔的回答是正确的。我只想提交一段代码，展示我们如何从 node.js 的非阻塞概念中获益，但同时不要让 Elasticsearch 一次被太多请求压垮。

这是一个伪代码，您可以使用它通过设置队列大小限制来为代码提供灵 active :

var countLines = 0;
var bulkString = "";
var queueSize = 3;//maximum of 3 requests will be sent to the Elasticsearch server
var batchesAlreadyInQueue = 0;
var instream = fs.createReadStream('filePath.txt');
var rl = readline.createInterface(instream, outstream);
rl.on('line', function(line) {
     if(countLines >= 5000){
          //send bulkString to via APIs
          client.bulk({
          index: 'indexName',
          type: 'type',
          body: [bulkString]
          }, function (error, response) {
               //task is done
               batchesAlreadyInQueue--;//we will decrease a number of requests that are already sent to the Elasticsearch when we hear back from one of the requests
               rl.resume();
          });
          if(batchesAlreadyInQueue >= queueSize){
               rl.pause();
          }
          countLines = 0;
          bulkString = "";
     }
}