Python3 urllib.request 不会立即关闭连接

Question

我有以下代码来运行连续循环以从网站获取一些内容:

from http.cookiejar import CookieJar
from urllib import request

cj = CookieJar()
cp = request.HTTPCookieProcessor(cj)
hh = request.HTTPHandler()
opener = request.build_opener(cp, hh)

while True:
    # build url
    req = request.Request(url=url)
    p = opener.open(req)
    c = p.read()
    # process c
    p.close()
    # check for abort condition, or continue

正确阅读内容。但出于某种原因，TCP 连接不会关闭。我正在观察来自 dd-wrt ​​路由器接口(interface)的事件连接数，它一直在上升。如果脚本继续运行，它将耗尽路由器的 4096 个连接限制。发生这种情况时，脚本只是进入等待状态(路由器将不允许新连接，但超时尚未达到)。几分钟后，这些连接将关闭，脚本可以再次恢复。

我能够从路由器观察那些挂起连接的状态。它们共享相同的状态:TIME_WAIT。

我希望此脚本同时使用不超过 1 个 TCP 连接。我做错了什么？

我在 Mac OS X 10.10 上使用 Python 3.4.2。

Answer 1

通过一些研究，我发现了这个问题的原因:the design of TCP protocol .简而言之，当您断开连接时，连接不会立即断开，而是进入“TIME_WAIT”状态，并会在 4 分钟后超时。与我的预期不同，连接并没有立即消失。

根据 this question ，也无法强制断开连接(无需重新启动网络堆栈)。

结果在我的特殊情况下，例如 this question stated ，更好的选择是使用持久连接，也就是 HTTP keep-alive。当我查询同一台服务器时，这会起作用。