python - 通过计算 start_url 调用来估计 Scrapy 进度

Question

我试图通过计算 start_url 被调用的次数来估计蜘蛛的进度，但我不确定如何检测到这一点。

我意识到这远不能真正衡量当前的进度，因为蜘蛛不知道剩余的要爬行的网站有多大。

关于如何获取 start_urls 的执行计数有什么想法吗？

Answer 1

看来您可以通过使用信号来完成此任务。具体来说，item_scraped 信号允许您在抓取项目后注册事件。对于每个收到的响应，检查response.url 是否在start_url 列表中。

scrapy.signals.item_scraped(item, response, spider)

有关 scrapy 文档页面的更多信息:http://doc.scrapy.org/en/latest/topics/signals.html