python - 如何捕获 503 错误并重试请求

Question

我正在使用 grequests 进行大约 10,000 次调用，但其中一些调用返回 503。如果我不一次对所有 10,000 个调用进行排队，这个问题就会消失。将它分成 1000 组似乎可以解决问题。但是我想知道是否有办法捕获此 503 错误并重试 request。

这就是我调用和组合线程的方式:

import grequests
rs = (grequests.get(u, headers=header) for u in urls)
response = grequests.map(rs)

我知道这真的很模糊，但我什至不知道使用 grequests 是否可行。

我试过了

import grequests
rs = (grequests.get(u, headers=header) for u in urls)
time.sleep(1)
response = grequests.map(rs)

但这并不能减慢它的速度。

Answer 1

也许您可以尝试使用事件 Hook 来捕获错误并重新启动请求 http://docs.python-requests.org/en/master/user/advanced/#event-hooks

 import grequests

 def response_handler(response):
     if response.status_code == '503':
         print('error.503')

 rs = (grequests.get(u, headers=header, hooks = dict('response' : response_handler)) for u in urls)
 response = grequests.map(rs)`