python - urllib open - 如何控制重试次数

Question

如何控制opener.open的重试次数？

在下面的代码中，它会在引发异常或代码成功之前发送大约 6 个 GET HTTP 请求(我在 Wireshark 嗅探器中看到过)。

password_mgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()
password_mgr.add_password(None,url, username, password)
handler = urllib.request.HTTPBasicAuthHandler(password_mgr)
opener = urllib.request.build_opener(handler)

try: 
    resp = opener.open(url,None,1)

except urllib.error.URLError as e:
    print ("no success")
else:
    print ("success!")

Answer 1

urllib 使用 httplib 来处理 HTTP 连接。如果您查看 httplib.py 源代码，并分析 HTTPConnection 类，您将了解 connect 方法的工作原理。

def connect(self):
    """Connect to the host and port specified in __init__."""
    msg = "getaddrinfo returns an empty list"
    for res in socket.getaddrinfo(self.host, self.port, 0, socket.SOCK_STREAM):
        af, socktype, proto, canonname, sa = res
        try:
            self.sock = socket.socket(af, socktype, proto)
            if self.debuglevel > 0:
                print "connect: (%s, %s)" % (self.host, self.port)
            self.sock.connect(sa)
        except socket.error, msg:
            if self.debuglevel > 0:
                print 'connect fail:', (self.host, self.port)
            if self.sock:
                self.sock.close()
            self.sock = None
            continue
        break

    if not self.sock:
        raise socket.error, msg

实际上，尝试的次数取决于socket.getaddrinfo返回的列表的长度。 .该代码遍历所有可用的套接字选项以设置连接。

我怀疑减少尝试次数是否有意义。但是你可以像下面这样增加这个数字:

maxtries = 3
delay = 3
n = 0
while n < maxtries:
    try: 
        resp = opener.open(url,None,1)
    except e:
        print ("no success")
        n += 1
        sleep(delay)
    else:
        print ("success!")
        break