python - 如何 scrapy 处理 dns 查找失败

Question

我希望在抓取域 Scrapy 时处理 DNS 错误。

这是我看到的错误:

ERROR: Error downloading <GET http://domain.com>: DNS lookup failed: address 'domain.com' not found [Errno 8] nodename nor servname provided, or not known.

当我遇到这样的错误时，我怎么能得到通知，这样我就可以自己处理它，而不用 Scrapy 抛出一个错误然后继续。

Answer 1

使用 errback 和回调:

Request(url, callback=your_callback, errback=your_errorback)

和errback:

def your_errorback(self, response):
    //your logic will be here