gpt4 book ai didi

scrapy - 如何将所有 CPU 内核用于 Scrapy

转载 作者:行者123 更新时间:2023-12-01 00:25:52 27 4
gpt4 key购买 nike

我的scrapy程序无论如何只使用一个CPU内核CONCURRENT_REQUESTS我做。 scrapy中的某些方法是否可以在一个scrapy爬虫中使用所有cpu核心?

ps:好像有争论max_proc在早期版本中使用,但我现在找不到它。

最佳答案

Scrapy 不使用多个 CPU。

这是设计使然。通常 Scrapy 的瓶颈不是 CPU,而是网络输入/输出。因此,即使使用单个 CPU,Scrapy 也可以比同步框架或库(例如请求)与 multiprocessing 结合使用更有效。 .

如果 CPU 是您的瓶颈,您应该考虑让一个单独的、支持多处理的进程来处理 CPU 繁重的部分。

如果您仍想在多个进程中运行 Scrapy 蜘蛛,请参阅 Running Scrapy from a script .您可以将其与 Python 的 multiprocessing 结合使用模块。或者,更好的是,使用 Scrapydalternatives 之一.

关于scrapy - 如何将所有 CPU 内核用于 Scrapy,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45002823/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com