python - 如何让 Scrapy 只抓取一页(使其非递归)？

Question

我正在使用最新版本的 scrapy ( http://doc.scrapy.org/en/latest/index.html ) 并试图弄清楚如何让 scrapy 只抓取作为 start_url 列表的一部分提供给它的 URL。在大多数情况下，我只想抓取 1 个页面，但在某些情况下，我可能会指定多个页面。我不希望它爬到其他页面。

我已经尝试将深度级别设置为 1，但我不确定在测试中它是否实现了我希望实现的目标。

任何帮助将不胜感激!

谢谢!

2015-12-22 - 代码更新:

# -*- coding: utf-8 -*-
import scrapy
from generic.items import GenericItem

class GenericspiderSpider(scrapy.Spider):
    name = "genericspider"

    def __init__(self, domain, start_url, entity_id):
        self.allowed_domains = [domain]
        self.start_urls = [start_url]
        self.entity_id = entity_id


    def parse(self, response):
        for href in response.css("a::attr('href')"):
            url = response.urljoin(href.extract())
            yield scrapy.Request(url, callback=self.parse_dir_contents)

    def parse_dir_contents(self, response):
        for sel in response.xpath("//body//a"):
            item = GenericItem()

            item['entity_id'] = self.entity_id
            # gets the actual email address
            item['emails'] = response.xpath("//a[starts-with(@href, 'mailto')]").re(r'mailto:\s*(.*?)"')


            yield item 

下面，在第一个响应中，您提到使用通用蜘蛛 --- 这不是我在代码中所做的吗？你还建议我删除

callback=self.parse_dir_contents

来自解析函数？

谢谢。

Answer 1

看起来您正在使用 CrawlSpider，它是一种特殊的 Spider 来抓取页面内的多个类别。

如果只抓取 start_urls 中指定的 url，只需覆盖 parse 方法，因为这是开始请求的默认回调。