scrapy - 使用 Scrapy 增量爬取网站

Question

我是爬行新手，想知道是否可以使用 Scrapy 逐步爬行网站，例如 CNBC.com？例如，如果今天我从一个站点抓取所有页面，那么从明天开始我只想收集新发布到该站点的页面，以避免抓取所有旧页面。

感谢您提供任何信息。或对此进行输入。

Answer 1

是的，您可以，而且实际上非常简单。每个新闻网站都有一些非常重要的索引页面，例如主页和类别(例如政治、娱乐等)。没有一篇文章不浏览这些页面至少几分钟。每分钟左右扫描一次这些页面并只保存链接。然后对数据库中已有的内容进行比较，每天几次进行爬网以抓取所有缺失的链接。非常标准的做法。