javascript - 在运行时处理 50k 个网页 (NodeJS)

Question

我需要下载约 50k 个网页，从中获取一些数据并将其放入变量。

我将每个请求包装到 Promise 中，然后 Promise.all() 它们。我使用 Request 库。

简化代码:

const request = require('request');
const urls = [url1, url2, ...];
const promises = [];

urls.forEach(url => {
    promises.push((resolve, reject) => {
        request(url, (error, response, body) => {
            if(error){ reject(error); return; }

            // do something with page

            resolve(someData);
        });
    });
});

Promise.all(promises.map(pr => new Promise(pr)))
    .then((someDataArray)=>{ /* process data /* });

但是我收到ENFILE 异常，这代表系统中打开的文件太多(在我的桌面上，打开文件的最大数量是 2048)。

我知道 Promise 在创建时执行，但我无法解决这个问题。

也许还有其他方法可以做到这一点？感谢您的回复。

Answer 1

您想要的是启动 N 个请求，然后在一个请求完成时启动一个新请求(无论成功与否)。

为此有很多库，但重要的是能够自己实现这种限制:

const request = require('request');
const urls = [url1, url2, ...];
const MAX_QUERIES = 10;
var remaining = urls.length;

const promises = [];

function startQuery(url){
    if (!url) return;
    request(url, (error, response, body) => {
        if (error) // handle error
        else // handle result
        startQuery(urls.shift());
        if (--remaining==0) return allFinished();
    });
}

for (var i=0; i<MAX_QUERIES; i++) startQuery(urls.shift());

function allFinished(){
    // all done
}