python/scrapy 问题 : How to avoid endless loops

Question

我正在使用网络抓取框架 scrapy 来挖掘一些网站的数据。我正在尝试使用 CrawlSpider，并且页面有一个“后退”和“下一步”按钮。 URL 的格式为

www.qwerty.com/###

其中 ### 是一个数字，每次按下下一个按钮时都会递增。如何格式化规则，以免出现无限循环。

这是我的规则:

rules = (
        Rule(SgmlLinkExtractor(allow='http://not-a-real-site.com/trunk-framework/791'),follow=True,callback='parse_item',
    ),
)

Answer 1

死循环不应该发生。 Scrapy 会过滤掉重复的 url。