httpurlconnection - 使用 "full message"http 响应时如何确保已读取 "Transfer-Encoding:chunked"

Question

我正在使用 HttpUrlConnection (java) 读取 http 分块响应 (Transfer-Encoding:chunked)，如下所示，我能够读取消息。但是，我如何才能确保我已正确读取所有 block 并且读取的消息完好无损..

BufferedReader in = new BufferedReader(
                new InputStreamReader(con.getInputStream()));
        String inputLine;
        StringBuffer response = new StringBuffer();

        while ((inputLine = in.readLine()) != null) {
            response.append(inputLine);
        }
        in.close();

Answer 1

嘿，很抱歉回复晚了，但正如您可能猜到的那样，我只是刚刚遇到您的问题。

您似乎对分块传输编码的含义有一点误解。 这并不意味着消息将在 CRLF 结尾的行中发送。这似乎是您要实现的，但比这要复杂一些。

如果您不熟悉 CRLF 是什么，它仅表示回车换行(或传统 Unix 转义序列中的 \r\n)。

分块传输编码意味着消息将以 block 而不是行的形式发送。每个 block 的格式比以 CRLF 结尾的行更容易解释。

block 的工作原理

每个 block 都以 [0-9, 'a'-'f'] 范围内的一系列字符开始。这是一个十六进制数，表示 block 的长度(以字节为单位)。这个十六进制数后面将跟一个 CRLF。这之后是 block 数据(希望具有指定的长度)。 block 数据将以另一个 CRLF 结束。

您将按顺序获得这些 block 中的几个，您的工作是按照它们到达的顺序将它们连接起来。您按顺序阅读它们，直到获得一个表示消息正文结束的特殊 block 。最后一个 block 的唯一特殊之处在于它的长度为零并且不包含任何数据，即该 block 将为 0\r\n\r\n。

不幸的是，Java 的HttpURLConnection 类只实现了自动分块传输编码，您必须自己进行解码。

尽管它可能很麻烦，但如果您实现此协议(protocol)，您就可以确信自己是否阅读了整条消息......但有一个警告......

您可能需要寻找预告片

尾部与 header 相同，只是它们出现在 HTTP 消息的末尾，而 header 出现在开头。分块传输编码将允许您找到消息正文的结尾，但完整的 HTTP 消息可能会继续。

HttpURLConnection 类不会为您解析尾部。该类在将其套接字(或它使用的任何内容)定向到连接的 OutputStream 之前解析 HTTP 头(状态行和 header )。一旦套接字指向该 OutputStream，它就不会返回。从那时起，由您来处理数据。

幸运的是，预告片比标题更容易预测……或者至少它们应该如此。服务器将发送的每个预告片都应该在 Trailers header 字段中的分号分隔列表中指定，即 Trailers: Content-disposition;缓存控制； header 中的 From 意味着您应该在消息后查找 Content-disposition、Cache-control 和 From 尾部字段。

尾部仅允许出现在分块编码的消息中，并且它们遵循与标题相同的格式:字段名称、冒号、空格、字段值、CRLF。就像 header 一样，如果尾部后跟两个 CRLF 而不是一个，则表示它是最后一个尾部。