python - Scrapy 找不到蜘蛛错误

Question

我一直在尝试让一个简单的蜘蛛与 scrapy 一起运行，但不断出现错误:

Could not find spider for domain:stackexchange.com

当我运行带有表达式 scrapy-ctl.py crawl stackexchange.com 的代码时.爬虫如下:

from scrapy.spider import BaseSpider
from __future__ import absolute_import


class StackExchangeSpider(BaseSpider):
    domain_name = "stackexchange.com"
    start_urls = [
        "http://www.stackexchange.com/",
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2]
        open(filename, 'wb').write(response.body)

SPIDER = StackExchangeSpider()`

另一个人几个月前发布了几乎完全相同的问题，但没有说明他们是如何解决的，Scrapy spider is not working我一直在关注 turtorial http://doc.scrapy.org/intro/tutorial.html ，并且无法弄清楚为什么它不起作用。

当我在 eclipse 中运行这段代码时出现错误

Traceback (most recent call last):
File "D:\Python Documents\dmoz\stackexchange\stackexchange\spiders\stackexchange_spider.py", line 1, in <module>
from scrapy.spider import BaseSpider
ImportError: No module named scrapy.spider

我不明白为什么它找不到基本的 Spider 模块。我的蜘蛛是否必须保存在脚本目录中？

Answer 1

尝试运行 python yourproject/spiders/domain.py 看看是否有任何语法错误。我认为您不应该启用绝对导入，因为 scrapy 依赖于亲属导入。