python - 未调用 Scrapy 管道 spider_opened 和 spider_closed

Question

我在使用 scrapy 管道时遇到了一些问题。我的信息正在从网站上抓取，并且 process_item 方法被正确调用。然而，spider_opened 和 spider_closed 方法没有被调用。

class MyPipeline(object):

    def __init__(self):
        log.msg("Initializing Pipeline")
        self.conn = None
        self.cur = None

    def spider_opened(self, spider):
        log.msg("Pipeline.spider_opened called", level=log.DEBUG)

    def spider_closed(self, spider):
        log.msg("Pipeline.spider_closed called", level=log.DEBUG)

    def process_item(self, item, spider):
        log.msg("Processsing item " + item['title'], level=log.DEBUG)

__init__ 和 process_item 日志消息都显示在日志中，但是 spider_open 和 spider_close 日志消息不是。

我需要使用 spider_opened 和 spider_closed 方法，因为我想使用它们来打开和关闭与数据库的连接，但日志中没有显示它们的任何内容。

如果有人有任何建议，那将非常有用。

Answer 1

抱歉，刚发完就发现了。您必须添加:

dispatcher.connect(self.spider_opened, signals.spider_opened)
dispatcher.connect(self.spider_closed, signals.spider_closed)

在 __init__ 中，否则它永远不会收到调用它的信号