python - Python 中的异步多线程抓取，线程有限

Question

我们必须重构抓取算法。为了加快速度，我们得出了多线程进程的结论(并将它们限制为最多 3 个)。一般来说，抓取包括以下几个方面:

1. 抓取(异步请求，大约需要 2 秒)
2. 图像处理(每个图像异步，每个图像大约 500 毫秒)
3. 更改数据库中的源项目(异步请求，大约 2 秒)

我的目标是创建一批抓取请求，并在循环它们时创建一系列后续异步操作:处理图像并在处理图像后立即更改源项目。

换句话说 - 抓取继续。但图像处理和更改源项目必须在单独的有限异步线程中运行。

只是觉得我不知道如何堆叠批处理和限制线程。

有人遇到过同样的任务吗？您使用了什么方法？

Answer 1

您正在寻找的是消费者-生产者模式。只需创建 3 个不同的队列，当您处理其中一个队列中的项目时，将新工作放入另一个队列中。然后您可以使用 3 个不同的线程，每个线程处理一个队列。