python - Scrapy:如何检查以前抓取的页面是否已被删除？

Question

我制作了一个简单的 Scrapy 爬虫，用于获取我所在城市的房价广告。

它收集以下数据:广告标题、价格和网址。然后输出一个CSV文件。

每周我都会运行爬虫程序，我希望它能将最新的 CSV 文件与之前的文件进行比较，以检查是否有任何广告已被删除。如果有，我希望将今天的日期包含在 CSV 文件输出的 LAST SEEN 列中。

我不知道这是否可以用 CSV 文件完成，或者这项工作是否需要数据库。我也不知道是否需要创建项目管道。

目前这是我的爬虫代码。

import scrapy


class ExampleSpider(scrapy.Spider):
    name = 'example'

    start_urls = [
        'http://www.example.com/'
        ]

    def parse(self, response):
        for item in response.css('li.item a.list-link::attr(href)').extract():
            yield scrapy.Request(item, callback=self.parse_item)

        next_page = response.xpath('//a[@title="Next page"]/@href').extract_first()

        if next_page is not None:
            yield scrapy.Request(next_page, callback=self.parse)

    def parse_item(self, response):
        title = response.css('h1.ad-title::text').extract_first()
        price = response.css('span.price::text').extract_first()

        yield {
            'TITLE': title,
            'PRICE': price,
            'URL': response.url
        }

Answer 1

您可以使用 csv(或任何其他数据结构)执行此操作。

想象一下你爬了两次，现在你必须归档:

$ cat items1.csv 
some_url, foo1, bar1
some_url2, foo2, bar2
some_url3, foo3, bar3

$ cat items2.csv 
some_url, foo1, bar1
some_url3, foo3, bar3

我们可以做的是从这些文件中加载所有 url，将值转换为 python set 并在您的两个集合上调用 set.difference 以查看有何不同你的数据集。

import csv
def read_file(filename)
    with open(filename, 'r') as csvfile:
        csvreader = csv.reader(csvfile)
        urls = [row[0] for row in csvreader]
        return set(urls)

urls1 = read_file('items1.csv') 
# returns {'some_url', 'some_url2', 'some_url3'}
urls2 = read_file('items2.csv') 
# returns {'some_url', 'some_url3'}

# find the difference
deleted_urls = urls1.difference(urls2)
#returns: {'some_url2'}