python - 如果满足条件则终止 Scrapy

Question

我在 python 中使用 scrapy 编写了一个爬虫。它包含 100 个 start_url。

我想在满足条件后终止抓取过程。即终止抓取特定的 div 被发现。终止我的意思是它应该停止抓取所有的 url。

可以吗

Answer 1

您正在寻找的是 CloseSpider exception .

在源文件顶部的某处添加以下行:

from scrapy.exceptions import CloseSpider

当您检测到您的终止条件得到满足时，只需执行类似的操作

        raise CloseSpider('termination condition met')

在你的回调方法中(而不是返回或生成一个 Item 或 Request)。

请注意，仍在进行中的请求(已发送 HTTP 请求，尚未收到响应)仍将被解析。但是不会处理任何新请求。