python - 遇到第一个异常时，如何使scrapy crawl 中断并退出？

Question

出于开发目的，我想在第一个异常(在蜘蛛或管道中)发生后立即停止所有抓取事件。

有什么建议吗？

Answer 1

在蜘蛛中，你可以直接抛出 CloseSpider异常(exception)。

def parse_page(self, response):
    if 'Bandwidth exceeded' in response.body:
        raise CloseSpider('bandwidth_exceeded')

对于其他(中间件、管道等)，您可以手动调用close_spider正如阿赫特所说。