python-2.7 - scrapy 网络爬虫教程中的错误

Question

我正在做这个在 scrapy 官方网站上给出的简单的 scrapy 爬虫教程，但遇到了一些错误。我是第一次做这件事，所以对这一切一无所知。我需要在我的应用程序中实现网络爬虫，我发现 scrapy 可以满足我的需求，所以从教程开始，并以我在下面粘贴的错误结束。谁能解释一下代码有什么问题..？

这是我的爬虫代码

from scrapy.spider import Spider

class DmozSpider(Spider):

    name="dmoz"

    allowed_domains = ["dmoz.org"]

    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]

    def parse(self, response):

   filename = response.url.split("/")[-2]

   open(filename, 'wb').write(response.body)

这是我遇到的错误

2014-02-04 10:45:51+0530 [scrapy] 调试:Web 服务监听 0.0.0.0:60802014-02-04 10:45:51+0530 [dmoz] DEBUG: Crawled (200) http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> (referer: None)

错误:Spider 错误处理 http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> 追溯(最近一次通话): mainLoop 中的文件“/usr/lib/python2.7/dist-packages/twisted/internet/base.py”，第 1178 行 self.runUntilCurrent() 文件“/usr/lib/python2.7/dist-packages/twisted/internet/base.py”，第 800 行，在 runUntilCurrent 中 call.func(*call.args, **call.kw) 回调中的文件“/usr/lib/python2.7/dist-packages/twisted/internet/defer.py”，第 362 行 self._startRunCallbacks(结果) 文件“/usr/lib/python2.7/dist-packages/twisted/internet/defer.py”，第 458 行，在 _startRunCallbacks self._runCallbacks() --- --- 文件“/usr/lib/python2.7/dist-packages/twisted/internet/defer.py”，第 545 行，在 _runCallbacks current.result = 回调(current.result，*args，**kw) 文件“/usr/local/lib/python2.7/dist-packages/scrapy/spider.py”，第 56 行，解析 提高 NotImplementedError 异常.NotImplementedError:

Answer 1

这个错误意味着你没有在你的蜘蛛中实现 parse 功能，另一方面根据发布的代码你似乎做了，让我认为你有一个缩进问题导致相信 parse 函数的代码不是 DmozSpider 类的一部分