web-scraping - 出现异常时如何强制scrapy退出

Question

我用Scrapy编写了一个爬虫。

管道中有一个函数，我可以将数据写入数据库。我使用日志记录模块来记录运行时日志。

我发现当我的字符串有中文时 logging.error() 会抛出异常。但爬虫仍在运行!

我知道这是一个小错误，但如果存在严重异常，如果爬虫继续运行，我将错过它。

我的问题是:是否有一个设置可以在出现异常时强制 Scrapy 停止？

Answer 1

您可以使用CLOSESPIDER_ERRORCOUNT

An integer which specifies the maximum number of errors to receive before closing the spider. If the spider generates more than that number of errors, it will be closed with the reason closespider_errorcount. If zero (or non set), spiders won’t be closed by number of errors.

默认设置为0CLOSESPIDER_ERRORCOUNT = 0如果您想在出现第一个错误时退出，可以将其更改为1。

更新

阅读this question的答案，您还可以使用:

crawler.engine.close_spider(self, 'log message')

欲了解更多信息，请阅读:

Close spider extension