javascript - Node JS动态集合ajax调用异步等待

Question

我正在尝试使用 Node js 构建一个网络抓取工具。我有一个数组，它将具有动态大小。该数组包含我需要访问的 URL 列表。我用过https://scotch.io/tutorials/scraping-the-web-with-node-js用于网页抓取。我正在使用 Node js 的请求模块创建请求。我引用了这个http://www.sebastianseilund.com/nodejs-async-in-practice ，我想 async.forEach 应该对我的场景有用，但我无法理解如何让 API 等待，直到未获取所有网络抓取结果。我是 Node js新手。任何对此的指导都将对我的前进非常有帮助。

好的。我正在添加某种我正在尝试但没有按我想要的方式工作的代码。我希望异步方法的所有输出作为对象列表连接在某个数组中，并将其作为 JSON 发送到客户端。

var express = require('express');
var fs = require('fs');
var request = require('request');
var cheerio = require('cheerio');
var app     = express();
var async = require('async');
app.get('/scrape', function(req, res){
    
    //URL list will be dynamic.
    var urlList = ['1','2','3'];

//async for each
async.forEach(urlList,function(url,callback){
    
    
    request({url: url,
    headers:{
        'User-Agent': 'spider'
    }
    }, function(error, response, html){
        debugger;
        if(!error){
         debugger;
            var $ = cheerio.load(html);
            
            
            $('span').filter(function(){
                debugger;
                var data = $(this);
                //console.log(data)
                var someprocessedValue = data.attr('data');
                //release = data.children().last().children().text();
                callback(someprocessedValue);
            })
           
        }
        
    });
    
    
    
    
},
function(err){
    if(err) console.log(err);
    res.send('Check your console!');
});

});

根据@Robrich的回答，我已经修改了代码并到达了它可以工作的地方。如果有人以后想使用它，我将发布代码供引用。

app.get('/scrape', function(req, res)
{
var urlList=['http://a.com','http://b.com'];


async.map(urlList,scrapper,function(err,results){
    if(err){
        
    }
    else
    {
        res.send('Check your console!');
    }
});
}
var scraper = function(url,cb){
var data = new Object();
data.url = url;
data.isError = false;
  request({url: url,
    headers:{
        'User-Agent': 'spider'
    }
    }, function(error, response, html){
        //debugger;
        if(!error){
         //debugger;
            var $ = cheerio.load(html);
    
            //some logic
            
            return cb(null,data);
        }
        else{
            data.IsError=true;
         return cb(error,data);
        }
        
    });
}

我上面的代码可能有大括号问题。但我让它按照我想要的方式工作。谢谢!!

Answer 1

使用async.map而不是async.forEach