python - 在存储的数据上重播 Scrapy 蜘蛛

Question

我已经开始使用 Scrapy抓取一些网站。如果我稍后向我的模型添加一个新字段或更改我的解析函数，我希望能够离线“重放”下载的原始数据以再次抓取它。看起来 Scrapy 有能力在某一时刻将原始数据存储在重放文件中:

http://dev.scrapy.org/browser/scrapy/trunk/scrapy/command/commands/replay.py?rev=168

但是这个功能在当前版本的Scrapy中好像已经被移除了。还有其他方法可以实现吗？

Answer 1

如果您运行 crawl --record=[cache.file] [scraper]，您就可以使用 replay [scraper]。

或者，您可以使用 HttpCacheMiddleware 缓存所有响应通过将其包含在 DOWNLOADER_MIDDLEWARES 中:

DOWNLOADER_MIDDLEWARES = {
    'scrapy.contrib.downloadermiddleware.httpcache.HttpCacheMiddleware': 300,
}

如果这样做，每次运行爬虫时，它都会首先检查文件系统。