python - Python中HTTP下载成功的确认

Question

是否有一种简单可靠的方法来确认网络下载是否已成功完成以使用 Python 或 WGET [对于大文件] 下载？在执行其他操作之前，我想确保文件已完整下载。

Answer 1

鉴于许多(我相信在实践中大多数)HTTP/1.1 header 部分，您可以预期实体主体的长度。如果您有这种期望，您可以决定是否获得了所有实体数据。参见 RFC 2616 section 4.4有关详细信息，但本质上:

• 有时 content-length 准确反射(reflect)了实体主体的长度
• 有时可能没有实体主体，这取决于响应代码或响应是否响应 HEAD 请求
• 有时请求是传输编码的；并且 HTTP 数据中有一些标记表示“我现在完成了”(Transfer-Encoding: chunked)
• 有时，消息在连接关闭时正式完成(在这种情况下，您无法区分获得全部内容和提前切断)

在除最后一种情况之外的所有情况下，您都可以判断自己是否掌握了全部内容。我不知道是否有任何特别的工具(wget 或现有的 python 库)为您提供了一个易于解释的信号，表明您的响应是否被截断了。