python - 请求进程挂起

Question

我正在使用 requests 获取 URL，例如:

while True:
    try:
        rv = requests.get(url, timeout=1)
        doSth(rv)
    except socket.timeout as e:
        print e
    except Exception as e:
        print e

运行一段时间后，它停止工作。没有异常或任何错误，就像它暂停了一样。然后，我通过在控制台中键入 Ctrl+C 来停止该过程。显示进程正在等待数据:

  .............
   httplib_response = conn.getresponse(buffering=True) #httplib.py
   response.begin() #httplib.py
   version, status, reason = self._read_status() #httplib.py
   line = self.fp.readline(_MAXLINE + 1) #httplib.py
   data = self._sock.recv(self._rbufsize) #socket.py
KeyboardInterrupt

为什么会这样？有解决办法吗？

Answer 1

看来您发送请求的服务器正在限制您的使用——也就是说，它发送bytes每个包之间的时间少于1秒(因此不是触发您的 timeout 参数)，但速度太慢以至于看起来像是卡住了。

我能想到的唯一解决方法是减少 timeout 参数，除非您可以通过服务器提供商解决此节流问题。

请记住，在设置 timeout 参数时，您需要考虑 latency，否则您的连接会断开得太快，甚至可能根本无法正常工作。