python - 如何限制在 scrapy 中每个域抓取的项目数量？

Question

我正致力于从多个网站上抓取项目(同样使用 scrapy)。我试图抓取的项目并不总是定义明确，可能在文本中。所以我使用字符串匹配来识别项目。然而，这也会产生一些不需要的信息以及我需要的数据，而我的抓取器需要很长时间才能抓取不需要的信息。为了避免这种情况，我对抓取的项目数量设置了上限。通过使用“if”条件，我在达到上限时引发 CloseSpider() 异常。在我只有一个域可以抓取之前，这种方法一直很有效。如何为多个域扩展它。

class CustomSpider(CrawlSpider):
name = "myspider"
start_urls = ['https://www.example1.com/']
allowed_domains = ['www.example1.com']
rules = [Rule(LinkExtractor(allow=()), callback='parse_info', follow = True)]

def parse_info(self, response):
    scrape_count = self.crawler.stats.get_value('item_scraped_count')
    if scrape_count == 20:
        raise CloseSpider("Limit Reached")

我的问题是，如何为以下场景扩展此代码:

class CustomSpider(CrawlSpider):
name = "myspider"
start_urls = ['https://www.example1.com/', 'https://www.example2.com/']
allowed_domains = ['www.example1.com', 'www.example2.com/']
rules = [Rule(LinkExtractor(allow=()), callback='parse_info', follow = True)]

def parse_info(self, response):

建议在这里改变逻辑

    scrape_count = self.crawler.stats.get_value('item_scraped_count')
    if scrape_count == 20:
        raise CloseSpider("Limit Reached")

Answer 1

看这个玩具示例:

from __future__ import print_function

import collections
try:
    from urllib.urlparse import urlsplit
except ImportError:
    from urlparse import urlsplit

from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule


class MySpider(CrawlSpider):
    name = 'myspider'
    start_urls = ['http://quotes.toscrape.com/',
                  'http://webscraper.io/test-sites']
    allowed_domains = ['quotes.toscrape.com', 'webscraper.io']

    scraped_count = collections.defaultdict(int)
    limit = 10

    rules = [Rule(LinkExtractor(allow=()), callback='parse_page',
                  follow=True, process_request='process_request')]

    def parse_page(self, response):
        yield {
            'url': response.url
        }

    def process_request(self, request):
        url = urlsplit(request.url)[1]
        if self.scraped_count[url] < self.limit:
            self.scraped_count[url] += 1
            return request
        else:
            print('Limit reached for {}'.format(url))

它在属性 scraped_count 中跟踪每个域被抓取的项目数。属性 limit 包含每个域的限制。逻辑放在作为参数传递给 Rule 的 process_request 方法中并且对于该规则提取的每个请求都会调用它(请参阅文档)。当您超过限制时，请求将被过滤，否则将原封不动地返回并进行处理。

如果您需要更复杂或适用于多个蜘蛛的东西，我建议您扩展 CloseSpider扩展类，在那里实现逻辑并替换 settings.py 中的默认类。