node.js - 对未知 URL 数量的异步 GET 请求

Question

发出未知数量的异步 GET 请求的最佳解决方案是什么？

例如，您有以下网址:'http://www.example.org/ '，并且您希望向以下路径发出一组异步请求:

[
    'http://www.example.org/A-1.html',
    'http://www.example.org/A-2.html',
    'http://www.example.org/A-3.html',
    '...',
    'http://www.example.org/B-1.html'
    'http://www.example.org/B-2.html'
    '...'
]

等等。例如，如果“...C-12.html”不存在，您将得到无效的响应 header 代码。您将如何发出一组并行请求？

Answer 1

    var request=require('request');
    var vrlList = [
        'http://www.example.org/A-1.html',
        'http://www.example.org/A-2.html',
        'http://www.example.org/A-3.html',
        '...',
        'http://www.example.org/B-1.html'
        'http://www.example.org/B-2.html'
        '...'
    ];
    var outPutData = [];
    forEach(function(url,index){


  request({ method: 'GET', uri: url }, function (error, response, body) { 
       outPutData.push({"url":url,data:body});
    }).on('data', function(data) {

    }).on('error', function(err) {
          console.log(err)
    }).on('response', function(response) { 
       response.on('data', function(data) { 
       })
   })

});