python - 如何在 scrapy 中通过 CrawlerProcess 传递自定义设置？

Question

我有两个 CrawlerProcesses，每个都调用不同的蜘蛛。我想将自定义设置传递给这些进程之一以将蜘蛛的输出保存到 csv，我想我可以这样做:

storage_settings = {'FEED_FORMAT': 'csv', 'FEED_URI': 'foo.csv'}
process = CrawlerProcess(get_project_settings())
process.crawl('ABC', crawl_links=main_links, custom_settings=storage_settings )
process.start() 

在我的蜘蛛中，我将它们作为一个论点来阅读:

    def __init__(self, crawl_links=None, allowed_domains=None, customom_settings=None,  *args, **kwargs):
    self.start_urls = crawl_links
    self.allowed_domains = allowed_domains
    self.custom_settings = custom_settings
    self.rules = ......
    super(mySpider, self).__init__(*args, **kwargs)

但是我如何告诉我的项目设置文件“settings.py”这些自定义设置？我不想对它们进行硬编码，而是希望它们被自动读取。

Answer 1

您不能将这些设置告诉您的文件。您可能对爬虫设置和蜘蛛设置感到困惑。在 scrapy 中，截至本文撰写时的提要参数需要传递给爬虫进程而不是蜘蛛。您必须将它们作为参数传递给您的爬虫进程。我有和你一样的用例。您所做的是读取当前项目设置，然后为每个爬虫进程覆盖它。请参阅下面的示例代码:

s = get_project_settings()
s['FEED_FORMAT'] = 'csv'
s['LOG_LEVEL'] = 'INFO'
s['FEED_URI'] = 'Q1.csv'
s['LOG_FILE'] = 'Q1.log'

proc = CrawlerProcess(s)

然后您对 process.crawl() 的调用不正确。蜘蛛的名称应该作为字符串的第一个参数传递，如下所示:process.crawl('MySpider', crawl_links=main_links) 当然 MySpider 应该是蜘蛛类中 name 属性的值。