gpt4 book ai didi

python - 在程序外部更改代理时,Scrapy 会循环直至失败

转载 作者:太空宇宙 更新时间:2023-11-03 20:36:46 24 4
gpt4 key购买 nike

我有一个更改计算机IP地址的程序,运行良好。我尝试在每个服务器 IP 地址上爬行我的 scrapy 项目,效果很好。

但是有时当程序在运行scrapy时交换IP地址时会出现错误:

2019-07-19 14:35:38 [scrapy_user_agents.middlewares] DEBUG: Proxy is detected https://127.0.0.1:21218
2019-07-19 14:35:38 [scrapy_user_agents.middlewares] DEBUG: Assigned User-Agent Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/5
37.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36
2019-07-19 14:35:38 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://www.ebay.com/sch/allcategories/all-categories
/?_rdc=1> (failed 175 times): [<twisted.python.failure.Failure OpenSSL.SSL.Error: [('SSL routines', 'ssl3_get_record', 'wrong vers
ion number')]>]

有时我的 IP 地址会改变并且它会继续,但有时它会失败并且会循环吐出此代码,重试 200 次。

最佳答案

事实证明有一个重定向破坏了它,所以我添加了

meta = {'dont_redirect': True, 'handle_httpstatus_list': [301,302]}

我的产量,效果很好

关于python - 在程序外部更改代理时,Scrapy 会循环直至失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57113982/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com