python - 通过脚本运行 Scrapy spider & 配置输出文件的设置

Question

我用 scrapy 编写了一个蜘蛛并在 python 脚本中运行它(不是 scrapy cmd 提示符)。我想配置设置，以便在特定文件(比如 output.json)中获取报废数据。

如果我在提示符下运行以下命令，我可以得到结果:“scrapy crawl myspider -o scrapedData.json -t json”

但我希望通过运行脚本而不是通过 cmdline 工具获得相同的输出。

感谢您的帮助!

Answer 1

settings = get_project_settings()
settings.overrides['FEED_URI'] = 'dealsOutput.json'
settings.overrides['FEED_FORMAT'] = 'json'

spider = dealsSpider()
crawler = Crawler(settings)

我通过查看这段代码发现:https://github.com/scrapy/scrapy/blob/master/scrapy/commands/crawl.py#L34