javascript - 如何为 Scrapy 在 "yield"内设置异常？

Question

你好，

我正在尝试使用 Scrapy 抓取 GitHub。它在大多数情况下都有效，但有些页面在页面本身加载完成后加载“贡献者”。当 Scrapy 遇到这样的页面时，它会抛出以下错误:AttributeError: 'NoneType' 对象没有属性 'strip' 并丢弃该 URL 中的所有其他内容。

有没有办法在“yield”中创建一个异常，以便 Scrapy 将“None”放入生成的 .CSV 而不是丢弃所有数据？

相关代码如下:

rules = [
    Rule(LinkExtractor(allow=('Repositories'), restrict_xpaths=('//a[@rel="next"]'))),
    Rule(LinkExtractor(allow=('github'), restrict_xpaths=('//h3/a[@class="v-align-middle"]')), callback='parse_project'),
    Rule(LinkExtractor(allow=('commits/master'), restrict_xpaths=('//*[@class="commits"]/a')), follow=True, callback='parse_commits_page'),
    Rule(LinkExtractor(deny=('\+174'), restrict_xpaths=('//a[contains(text(), "Older")]')), follow=True, callback='parse_commits_page')
]

# Parse the main page of the project
def parse_project(self, response):
    yield {
        'author': response.xpath('//a[@rel="author"]/text()').extract(),
        'name': response.xpath('//strong[@itemprop="name"]/a/text()').extract(),
        'tags': [x.strip() for x in response.xpath('//a[contains(@class, "topic-tag")]/text()').extract()],
        'about': response.xpath('//*[@itemprop="about"]/text()').extract_first().strip(),
        'lang_name': response.xpath('//span[@class = "lang"]/text()').extract(),
        'lang_perc' : response.xpath('//span[@class = "percent"]/text()').extract(),
        'stars': response.xpath('//a[contains(@aria-label, "starred")]/text()').extract_first().strip(),
        'forks': response.xpath('//a[contains(@aria-label, "forked")]/text()').extract_first().strip(),
        'commits': response.xpath('//a[contains(., "commits")]/span/text()').extract_first().strip(),
        'contributors': response.xpath('//a[contains(., "contributor")]/span/text()').extract_first().strip(),
        'last_commits': None
    }

特别是“贡献者”:response.xpath('//a[contains(., "contributor")]/span/text()').extract_first().strip(), 是给我带来麻烦的部分，也是我想要异常(exception)的地方。

附言我还尝试使用“scrapy-splash”让它等待页面

def pre_parse_project(self, response):
    yield scrapy_splash.SplashRequest(response.url, self.parse_project,
        args={
            'wait': 4,
        }
    )

但问题仍然存在，所以我想至少获取所有可能的数据并填充使用 API 的贡献者数量。

Answer 1

代替:

yield {
    'contributors': response.xpath(selector)\
                            .extract_first()\
                            .strip(),
}

您可以使用默认参数(这样它就不会返回None):

yield {
    'contributors': response.xpath(selector)\
                            .extract_first(default='')\
                            .strip(),
}