python - 如何在不同的输入网站上同时多次运行 Scrapy 抓取工具并写入不同的输出文件？

Question

有谁知道我如何在不同的网站上运行同一个 Scrapy scraper 200 多次，每个网站都有各自的输出文件？通常在 Scrapy 中，当您从命令行运行它时，您可以通过键入 -o filename.json 来指示输出文件。

Answer 1

多种方式:

• Create a pipeline删除具有可配置参数的项目，例如运行 scrapycrawl myspider -a output_filename=output_file.txt。 output_filename 作为参数添加到蜘蛛中，现在您可以从管道访问它，例如:

  class MyPipeline(object):
      def process_item(self, item, spider):
          filename = spider.output_filename
          # now do your magic with filename
  

• 您可以run scrapy within a python script ，然后也用输出项做你的事情。