python - scrapy while 循环中出现 ReactorNotRestartable 错误

Question

执行以下代码时出现 twisted.internet.error.ReactorNotRestartable 错误:

from time import sleep
from scrapy import signals
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from scrapy.xlib.pydispatch import dispatcher

result = None

def set_result(item):
    result = item

while True:
    process = CrawlerProcess(get_project_settings())
    dispatcher.connect(set_result, signals.item_scraped)

    process.crawl('my_spider')
    process.start()

    if result:
        break
    sleep(3)

第一次运行时，我收到错误。我每次都会创建 process 变量，那么问题出在哪里？

Answer 1

默认情况下，CrawlerProcess的.start()当所有爬虫完成后，将停止它创建的 Twisted react 器。

如果您在每次迭代中创建 process，则应该调用 process.start(stop_after_crawl=False)。

另一种选择是自己处理 Twisted react 堆并使用 CrawlerRunner 。 The docs have an example这样做。