python - 如何加速 HTTP 请求

Question

我需要获取 json 数据，我正在使用 urllib2:

request = urllib2.Request(url)
request.add_header('Accept-Encoding', 'gzip')
opener = urllib2.build_opener()
connection = opener.open(request)
data = connection.read()

但是虽然数据不是很大，但是速度太慢了。
有没有办法加快速度？我也可以使用 3rd 方库。

Answer 1

Accept-Encoding:gzip 表示如果服务器准备好发送编码后的内容，则客户端已准备好对其进行 gzip 压缩。请求的其余部分通过套接字进入操作系统 TCP/IP 堆栈，然后到达物理层。

如果服务器支持 ETags，那么你可以发送一个 If-None-Match 头来确保内容没有改变并依赖于缓存。一个例子是 given here .

您仅无法通过客户端做很多事情来提高您的 HTTP 请求速度。