python - 为什么我用Python做的网络爬虫不能用？

Question

我正在学习由 Digital Ocean 的 Justin Duke 撰写的网络抓取教程。这是教程的链接

https://www.digitalocean.com/community/tutorials/how-to-crawl-a-web-page-with-scrapy-and-python-3

当我运行我的代码时，网络爬虫显示以下错误:

'BrickSetSpider.parse 回调'未定义'。

我不确定这是什么意思。

这是我使用的代码。

import scrapy


class BrickSetSpider(scrapy.Spider):
    name = "brickset_spider"
    start_urls = ['http://brickset.com/sets/year-2016']

def parse(self, response):
        SET_SELECTOR = '.set'
        for brickset in response.css(SET_SELECTOR):

            NAME_SELECTOR = 'h1 ::text'
            yield {
                'name': brickset.css(NAME_SELECTOR).extract_first(),
            }

我也是 Python 的新手。因此，如果您对我的问题的回答能够让新手能够理解，我将不胜感激。

Answer 1

像这样

import scrapy


class BrickSetSpider(scrapy.Spider):
    name = "brickset_spider"
    start_urls = ['http://brickset.com/sets/year-2016']

    def parse(self, response):
        SET_SELECTOR = '.set'

        for brickset in response.css(SET_SELECTOR):
            NAME_SELECTOR = 'h1 ::text'
            yield {
            'name': brickset.css(NAME_SELECTOR).extract_first(),
                  }