python - 如何重启Scrapy spider

Question

我需要什么:

1. 启动爬虫
2. 爬虫工作完成
3. 等一分钟
4. 再次启动爬虫

我试试这个:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from time import sleep

while True:
    process = CrawlerProcess(get_project_settings())
    process.crawl('spider_name')
    process.start()
    sleep(60)

但是报错:

twisted.internet.error.ReactorNotRestartable

请帮我做对

python 3.6
碎片化 1.3.2
Linux

Answer 1

为了避免 ReactorNotRestartable 错误，您可以尝试创建一个 main.py 文件，从中使用 subprocesses 从 shell 多次调用爬虫。

这个 main.py 文件可能是这样的:

from time import sleep
import subprocess

timeout = 60

while True:
    command = 'scrapy crawl yourSpiderName'
    subprocess.run(command, shell=True)
    sleep(timeout)