带有 urllib2 的 Python HTTP 错误 429

Question

我正在使用以下代码解析重定向以返回链接最终 url

def resolve_redirects(url):
    return urllib2.urlopen(url).geturl()

不幸的是，我有时会收到 HTTPError: HTTP Error 429: Too Many Requests。什么是解决这个问题的好方法？下面这个好还是有更好的办法。

def resolve_redirects(url):
    try:
        return urllib2.urlopen(url).geturl()
    except HTTPError:
        time.sleep(5)
        return urllib2.urlopen(url).geturl()

还有，如果except block 中出现异常怎么办？

Answer 1

最好在重试之前确保 HTTP 代码实际上是 429。

可以这样做:

def resolve_redirects(url):
    try:
        return urllib2.urlopen(url).geturl()
    except HTTPError, e:
        if e.code == 429:
             time.sleep(5);
             return resolve_redirects(url)
        raise

这也将允许任意次数的重试(可能需要也可能不需要)。

https://docs.python.org/2/howto/urllib2.html#httperror