gpt4 book ai didi

proxy - Scrapyd 重试如果在扭曲的延迟中出现错误/无法打开 CONNECT 隧道错误

转载 作者:行者123 更新时间:2023-12-01 11:32:11 24 4
gpt4 key购买 nike

我正在使用 Scrapy 中的代理循环,有时一些代理会出错,这会阻止我的蜘蛛..错误是“无法打开 CONNECT 隧道”如果出现此错误,我该如何更改代码以使用另一个代理重试?

这里是需要修改的代码: https://github.com/scrapy/scrapy/blob/master/scrapy/core/downloader/handlers/http11.py

最佳答案

像这样:

from scrapy.core.downloader.handlers.http11 import TunnelError


class RetryMiddleware(RetryMiddleware):
def process_exception(self, request, exception, spider):
if ( isinstance(exception, self.EXCEPTIONS_TO_RETRY) or isinstance(exception, TunnelError) ) \
and 'dont_retry' not in request.meta:
return self._retry(request, exception, spider)

在 settings.py 中:

DOWNLOADER_MIDDLEWARES = { 
'myproject.myretry.RetryMiddleware': 200,
'scrapy.contrib.downloadermiddleware.retry.RetryMiddleware': None
}

关于proxy - Scrapyd 重试如果在扭曲的延迟中出现错误/无法打开 CONNECT 隧道错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31290121/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com