python - 在 Python 请求中重试

Question

我有以下重试需求:

我的 Python 脚本使用 REQUESTS 模块调用 API 并解析 JSON 响应。

最近 API 返回不完整的数据，如下所示

不完整的数据:

  {
    offerInfo: {
      siteID: "001",
      language: "en_US",
      currency: "USD"
    },
    userInfo: {
      persona: {
        personaType: "OTHERS"
      },
      userId: "111"
    },
    offers: { }
  }

完整数据:

  {
    offerInfo: {
      siteID: "001",
      language: "en_US",
      currency: "USD"
    },
    userInfo: {
      persona: {
        personaType: "OTHERS"
      },
      userId: "111"
    },
    offers: { 
      Flight: [
        {
          offerDateRange: {
            travelStartDate: [2016, 5, 7],
            travelEndDate: [2016, 5, 11]
          }
       }
    }
  }

一个完整的响应应该包含 ['offers']['Flight'] 键，如果没有，我的代码应该在它放弃并转到下一个 API URL 之前尝试调用 API N 次。

我正在尝试使用以下带有 session 的代码，但不确定如何在其中添加支票 ['offers']['Flight']

注意:从API返回不完整的数据时没有HTTP错误，所以我必须依赖键['offers']['Flight']

session = requests.Session()
session.mount("http://", requests.adapters.HTTPAdapter(max_retries=2))
session.mount("https://", requests.adapters.HTTPAdapter(max_retries=2))
try:
    response = session.get(url=line,timeout=(connect_timeout,read_timeout),verify=False)

Answer 1

评论中建议的 while 循环加上计数是简单的答案，可能就足够了。

相反，如果您想使用满足此类需求的模块，backoff是一个用于装饰函数以使用可配置退避行为进行重试的库。特别是，on_predicate 装饰器允许您根据指定函数的返回值定义重试条件。

import backoff

def has_flight_offer(dct):
    return 'Flight' in dct.get('offers')

@backoff.on_predicate(backoff.constant, has_flight_offer, max_tries=3, interval=1)
def get_offers(session, url))
    response = session.get(url, verify=False)
    return response.json()

它还处理异常重试，并且可以很好地处理请求，因此您可以使用它来处理请求异常，同时使用类似的装饰。

@backoff.on_predicate(backoff.constant, has_flight_offer, max_tries=3, interval=1)
@backoff.on_exception(backoff.expo, requests.exceptions.RequestException, max_tries=3)
def get_offers(session, url))
    response = session.get(url, verify=False)
    return response.json()