python - 运行蜘蛛 : error: File not found: - Scrapy

Question

在完成官方教程后，我决定尝试在同一个项目中构建我自己的蜘蛛。我在蜘蛛中创建了 parker_spider.py，其中包含:

start_urls = [
    "myurl"
]


class Parker_Spider(scrapy.Spider):

    name = "parker"


    def make_requests(self):
        for i in range(self.max_id):
            yield Request('myurl', method="post", headers= headers, body=payload, callback=self.parse_method)


    def parse_method(self,response):
        print(response.body) 

当我运行时:

$ scrapy runspider parker
2016-05-25 20:26:42 [scrapy] INFO: Scrapy 1.1.0 started (bot: tutorial)
2016-05-25 20:26:42 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'tutorial.spiders', 'SPIDER_MODULES': ['tutorial.spiders'], 'ROBOTSTXT_OBEY': True, 'BOT_NAME': 'tutoria
l'}
Usage
=====
  scrapy runspider [options] <spider_file>

runspider: error: File not found: parker

我做错了什么？

Answer 1

runspider command需要一个 spider 文件名，而不是 spider 名称:

$ scrapy runspider parker_spider.py

而且，如果你已经创建了一个 Scrapy 项目并从项目目录中运行蜘蛛，最好使用 crawl command相反 - 在这里你应该使用蜘蛛名称:

$ scrapy crawl parker