python - 调度 Scrapy 蜘蛛以脚本的间隔运行

Question

假设我有一个需要运行多次的蜘蛛

class My_spider(Scrapy.spider):
    #spider def

我想做这样的事

while True:
    runner = CrawlerRunner()
    deferred = runner.crawl(My_spider)
    deferred.addBoth(lambda _: reactor.stop())
    reactor.run()
    time.sleep(180)

有没有办法做到这一点？我已经用谷歌搜索了 12 个小时，我想我尝试的一切都没有用，我遇到了 ReactorNotRestartable 或其他东西。在这一点上，我正在考虑只编写一个单独的模块来调度控制台命令。

Answer 1

使用日程模块代替时间。这是您可以做到的方法

import schedule

schedule.every(1).minute.do(runner.crawl(My_spider))
while True:
    schedule.run_pending()

这将每 1 分钟运行一次抓取功能。了解有关此图书馆的更多信息 here