python - Scrapy:下载器/response_count 与 response_received_count

Question

我正在使用scrapy爬取多个网站，想分析爬取率。最后转储的统计信息包含一个 downloader/response_count 值和一个 response_received_count 值。前者在系统上大于后者。

为什么会有差异，爬虫的哪个元素会增加统计信息收集器中的两个值？

Answer 1

• CoreStats是 Extension 负责response_received_count
• DownloaderStats是 Middleware 负责downloader/response_count .

CoreStats分机正在连接signals.response_received的信号增加 response_received_count 的值，所以它应该计算你得到的每一个响应(甚至是坏状态)，而 DownloaderStats中间件处理特定订单的响应，我们可以看到 here its order is 850 , 因此以前的下载器中间件(设置为低于 850 的数字可能会丢弃甚至在处理响应时出错，并且永远不会增加 downloader/response_count。