javascript - 我可以取消 promise 的执行吗？尝试检查数千个链接并且不想等待请求超时

Question

免责声明:我没有编程或网络方面的经验，因此我可能会遗漏一些非常明显的东西。

因此，我在 node.js 中创建了一个函数，该函数应该遍历数据库中的图像链接数组并检查它们是否仍在工作。有数千个链接需要检查，因此我不能一次发出数千个 fetch 调用并等待结果，而是交错请求，按 10 个 10 个进行，并执行头请求以最大程度地减少带宽使用。

我有两个问题。

第一个是，在快速获取前 10-20 个链接后，其他请求需要更长的时间，其中 10 个请求中有 9 个或 10 个会超时。这可能是由于某种网络机制在同时触发多个请求时限制了我的请求，但我认为这可能是由于我的第二个问题造成的。

第二个问题是检查过程在几次迭代后会变慢。这是我正在做的事情的概述。我将图像链接的字符串数组切成 10 x 10，然后检查 10 个 promise 中的 10 个帖子:(忽略 i 和 j 变量，它们只是为了跟踪各个 promise 和日志/调试超时)

const partialResult = await Promise.all(postsToCheck.map(async (post, j) => await this.checkPostForBrokenLink(post, i + j)));

在 checkPostForBrokenLink 中，我在获取和 10 秒超时之间进行了竞争，因为我不想每次出现超时问题时都必须等待连接超时，我给它 10 秒，然后将其标记为超时并继续。

const timeoutPromise = index => {
    let timeoutRef;
    const promise = new Promise<null>((resolve, reject) => {
        const start = new Date().getTime();
        console.log('===TIMEOUT INIT===' + index);
        timeoutRef = setTimeout(() => {
            const end = new Date().getTime();
            console.log('===TIMEOUT FIRE===' + index, end - start);
            resolve(null);
        }, 10 * 1000);
    });
    return { timeoutRef, promise, index };
};
const fetchAndCancelTimeout = timeout => {
    return fetch(post.fileUrl, { method: 'HEAD' })
        .then(result => {
            return result;
        })
        .finally(() => {
            console.log('===CLEAR===' + index); //index is from the parent function
            clearTimeout(timeout);
        });
};
const timeout = timeoutPromise(index);
const videoTest = await Promise.race([fetchAndCancelTimeout(timeout.timeoutRef), timeout.promise]);

如果 fetchAndCancelTimeout 在 timeout.promise 之前完成，它将取消该超时，但如果超时首先完成，则尽管代码已继续， promise 仍会在后台“解析”。我猜这就是我的代码速度变慢的原因。后面的超时从设置到触发需要 20-30 秒，尽管设置为 10 秒。据我所知，这一定是因为主进程很忙，没有时间执行事件队列，尽管我真的不知道除了等待 promise 解决之外它还能做什么。

所以问题是，首先，我是否在这里做了一些我不应该做的愚蠢的事情，导致一切变慢？其次，如果没有，如果首先触发超时，我是否可以以某种方式手动停止获取 promise 的执行，以免在无意义的进程上浪费资源？最后，有没有比我在这里所做的更好的方法来检查大量链接是否有效？

Answer 1

我发现了这个问题，它与 Promise 构建无关，至少不直接相关。显示的代码用于检查视频链接，但对于图像，获取调用是由插件完成的，并且该插件导致速度减慢。当我开始对视频和图像使用相同的代码时，该过程突然变得快了几个数量级。我一开始并没有想到要检查该插件，因为它应该只执行头部请求并格式化结果，这不应该是问题。

对于任何试图找到取消获取方法的人来说，@some 提供了一个似乎可行的想法。查看https://www.npmjs.com/package/node-fetch#request-cancellation-with-abortsignal