python - 碎片化 1.0 : How to run crawler in Celery?

Question

我尝试了文档 http://doc.scrapy.org/en/stable/topics/practices.html 中的示例，但第二次运行时会出现错误ReactorNotRestartable。

settings = get_project_settings()

runner = CrawlerRunner(settings=settings)

@defer.inlineCallbacks
def crawl():
    yield runner.crawl(LatestNewsSpider)
    reactor.stop()

def run_spider():
    crawl()
    reactor.run()

Answer 1

在您的 Celery 设置中将 CELERYD_MAX_TASKS_PER_CHILD 设置为 1。这将在每个子进程中只运行一个任务，因此它永远不会在同一进程中多次启动 react 器。

或者，您可以在一个线程中运行 react 器并且永远不会停止它。我不知道它是否行得通。 crochet可能有用。