python - 以类似文件的方式读取 HTTP 响应的库？

Question

我需要使用 Python 发出 HTTP 请求来下载一个大文件，但我需要能够使用类似文件的指针来读回响应 block ，有点像这个伪代码:

request = HTTPRequest(GET, "http://localhost/bigfile.bin")
request.send()

response = request.get_response()
print "File is {} bytes long.".format(response.content_length)

while True:
    chunk = response.read(1024)
    print "Chunk Length: {}".format(len(chunk))

有这样的API吗？我只想在调用 read 方法时从源代码中读取，而不是将响应中的任何内容( header 除外)带入内存，直到我需要为止。

Answer 1

是的。查看Requests package .

您可以使用 stream option避免在访问之前获取响应主体:

req = requests.get('http://localhost/bigfile.bin', stream=True)
print "File is {} bytes long.".format(req.headers['Content-Length'])

while True:
    chunk = req.raw.read(1024)
    print "Chunk Length: {}".format(len(chunk))