python - 使用 scrapy 进行 CPU 密集型解析

Question

位于 http://doc.scrapy.org/en/latest/topics/settings.html#concurrent-items 的 CONCURRENT_ITEMS 部分定义为:

Maximum number of concurrent items (per response) to process in parallel in the Item Processor (also known as the Item Pipeline).

这让我很困惑。这是否意味着发送到管道的项目是并行处理的，即。真的是多进程吗？

假设我的解析涉及大量 lxml 查询和 xpath'ing。我应该在蜘蛛的解析方法本身中执行它们，还是应该发送一个包含整个响应的 Item 并让自定义管道类通过解析响应主体来填充 Item 的字段？

Answer 1

CONCURRENT_ITEMS 设置是指在处理蜘蛛输出的项目时限制并发事件。所谓并发事件，我指的是 twisted(Scrapy 使用的底层框架)将同时执行的操作——通常是网络请求之类的东西。

Scrapy不使用多线程，不会使用多核。如果您的爬虫受 CPU 限制，通常的加速方法是使用多个单独的 scrapy 进程，避免 python GIL 的任何瓶颈。