python - Scrapy 爬取速度慢(60 页/分钟)

Question

我的 scrapy 爬行速度很慢(大约 1 页/秒)。我正在从 aws 服务器抓取一个主要网站，所以我认为这不是网络问题。 CPU 利用率远未接近 100，如果我启动多个 scrapy 进程，爬网速度会快得多。

Scrapy 好像爬了一堆页面，然后挂了几秒，然后重复。

我试过玩:CONCURRENT_REQUESTS = CONCURRENT_REQUESTS_PER_DOMAIN = 500

但这似乎并没有真正让指针超过 20。

Answer 1

您确定允许高速抓取目标站点吗？许多网站实现下载阈值，“一段时间后”开始响应缓慢。