python - 如何在scrapy中获取队列中的请求数？

Question

我正在使用 scrapy 来抓取一些网站。如何获取队列中的请求数？

我查看了scrapy源代码，发现scrapy.core.scheduler.Scheduler可能会引出我的答案。请参阅:https://github.com/scrapy/scrapy/blob/0.24/scrapy/core/scheduler.py

两个问题:

1. 如何访问我的蜘蛛类中的调度程序？
2. 调度器类中的self.dqs和self.mqs是什么意思？

Answer 1

这花了我一段时间才弄清楚，但这是我使用的:

self.crawler.engine.slot.scheduler

那是调度器的实例。然后你可以调用它的 __len__() 方法，或者如果你只需要 true/false 用于待处理的请求，请执行如下操作:

self.crawler.engine.scheduler_cls.has_pending_requests(self.crawler.engine.slot.scheduler)

请注意，即使队列为空，仍然可能有正在运行的请求。要检查当前有多少请求正在运行，请使用:

len(self.crawler.engine.slot.inprogress)