python - 如何为scrapy编写添加访问过的url的规则

Question

当 scrapy 关闭时，它会忘记所有的 url。我想在开始时给 scrapy 一组已被抓取的 url。如何向 crawlspider 添加规则，让它知道访问了哪些 url？

当前函数:

SgmlLinkExtractor(allow=(), deny=(), allow_domains=(), deny_domains=(), restrict_xpaths(), tags=('a', 'area'), attrs=('href'), canonicalize=True, unique=True, process_value=None)

只需使用 parse 告诉 spider 要抓取哪个 url。我怎么能告诉 scrapy 哪些 url 不应该访问？

Answer 1

当 scrapy 停止时，它会将抓取的 URLS 指纹保存在 request.seen 文件中。这是由用于两次抓取 url 的 dedup 类完成的，但是如果你重新启动具有相同作业目录的抓取器，它将不会抓取已经看到的 url。如果你想控制这个过程，你可以自己替换默认的 dedup 类。另一种解决方案是添加您自己的 spidermiddleware