javascript - 如何向多个 URL 发出请求并解析每个页面的结果？

Question

我正在使用流行的 npm 包 Cheerio 来请求检索一些表数据。

虽然我可以轻松地从单个页面检索和解析表格，但我想循环/处理多个页面。

我尝试过将async包提供的内部循环/各种实用程序包装起来，但无法弄清楚这一点。在大多数情况下， Node 会耗尽内存。

当前代码:

const cheerio = require('cheerio');
const axios = require("axios");


var url = someUrl;

const getData = async url => {
  try {
    const response = await axios.get(url);
    const data = response.data;
    const $ = cheerio.load(data);
    const announcement = $(`#someId`).each(function(i, elm) {
      console.log($(this).text()) 
    })
  } catch (error) {
    console.log(error);
  }
};


getData(url); //<--- Would like to give an array here to fetch from multiple urls /  pages

在尝试循环之后，我当前的方法是将其包装在另一个带有回调参数的函数中。然而还没有成功，而且变得相当困惑。

向此函数提供数组的最佳方法是什么？

Answer 1

假设您想一次执行一个:

; (async() => {
  for(let url of urls){
    await getData(url)
  }
})()