javascript - Cheerio Web Scrape 如何在网络抓取工具内部进行网络抓取

Question

我有一个特定页面，我从中抓取了一些数据，但要收集更多信息，我需要点击另一个 href 链接来为该特定项目收集更多数据，但我不知道如何操作。

这是我目前所拥有的:

       router.get("/:id",function(req,res){
       var url = "www.someurl.com"

       request(url, function (error, response, html){
       if (!error && response.statusCode == 200){
        $ = cheerio.load(html);

       $('div.ProductDetails').each(function(){// function for details
          var self = this;
          var a = $(this).children().children();
          details = a.attr('href');

          details = {
          details:details
      };

这为我提供了包含实际详细信息的详细信息部分的链接。我只需要知道如何在抓取内部进行抓取。

Answer 1

和你第一次做的一样，details.details是<a>中的网址标签。

所以你需要向那个 url 发出请求

request(details.details, function(err, res, html) { /* code */ })

然后使用cheerio提取数据。