python-3.x - Scrapy 蜘蛛关闭

Question

我有一个脚本需要在蜘蛛关闭后运行。我看到 Scrapy 有一个名为Spider_Closed() 的处理程序，但我不明白如何将其合并到我的脚本中。我想做的是，一旦抓取刀完成爬行，我想合并所有 csv 文件，将它们加载到工作表中。如果有人有任何可以做到这一点的例子，那就太好了。

Answer 1

按照 documentation 中的示例，您将以下内容添加到您的 Spider 中:

# This function remains as-is.
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):
    spider = super().from_crawler(crawler, *args, **kwargs)
    crawler.signals.connect(spider.spider_closed, signal=signals.spider_closed)
    return spider

# This is where you do your CSV combination.
def spider_closed(self, spider):
    # Whatever is here will run when the spider is done.
    combine_csv_to_sheet()