java.io.EOFException : Unexpected end of ZLIB input stream reading gzip encoded website 异常

Question

我在压缩某些网站时遇到问题。以下代码应该可以正常工作，但会抛出 EOFException。所有主流浏览器都可以加载该网站，我也可以使用带有 gzip 的 curl。

public static void main(String[] args) throws IOException {
    URL url = new URL("http://www.ddanzi.com");
    HttpURLConnection connection = (HttpURLConnection) url.openConnection();
    connection.setRequestProperty("Accept-Encoding", "gzip");
    System.out.println("Encoding: " + connection.getContentEncoding());
    System.out.println("Bytes: " + IOUtils.toByteArray(new GZIPInputStream(connection.getInputStream())).length);
}

这将是输出:

Encoding: gzip
Exception in thread "main" java.io.EOFException: Unexpected end of ZLIB input stream
    at java.util.zip.InflaterInputStream.fill(InflaterInputStream.java:240)
    at java.util.zip.InflaterInputStream.read(InflaterInputStream.java:158)
    at java.util.zip.GZIPInputStream.read(GZIPInputStream.java:117)
    at java.io.FilterInputStream.read(FilterInputStream.java:107)
    at org.apache.commons.io.IOUtils.copyLarge(IOUtils.java:1792)
    at org.apache.commons.io.IOUtils.copyLarge(IOUtils.java:1769)
    at org.apache.commons.io.IOUtils.copy(IOUtils.java:1744)
    at org.apache.commons.io.IOUtils.toByteArray(IOUtils.java:462)
    at Test.main(Test.java:18)

这不是我遇到 gzip 编码问题的唯一网站。我也有问题

• mgtv.com
• yxdown.com
• weather.com.cn
• ebrun.com

我做错了什么吗？

我的系统是 Win7 x64，Java 8 Update 102。

提前致谢!

编辑:我可以自己读取流并吞下异常，但在异常发生的那一刻，我可能会丢失 bufferSize 字节并有一个损坏的/不完整的文件。有没有办法解决这个问题(除了将 bufferSize 设置为 1)？

编辑 2: 作为一种在异常发生之前获取字节的变通方法，例如，像这样读取流:

byte[] buffer = new byte[bufferSize];
InputStream inputStream = connection.getInputStream():
ByteArrayOutputStream baos = new ByteArrayOutputStream();
try {
    while(true) {
        int read = inputStream.read(buffer);
        if (read == -1) break;
        baos.write(buffer, 0, read);
    }
}catch(Exception e) {
    // Just swallow or Log or something...
}
byte[] result = baos.toByteArray();

但这里的问题是，如何选择bufferSize？当它是例如设置为 1000 并且在某些时候，比如读取当前 1000 字节的最后一个时发生异常，我将丢失所有正确读取的 999 字节。完整性的完美值是 1，但这非常慢。

那么，如何在不损失性能的情况下获得所有正确的可读数据呢？

Answer 1

您看到该异常的原因是服务器响应不正确。请改用 http://www.google.com，您会发现您的代码有效(您可能会收到 302 响应，只需按照重定向操作即可)。

你能做的就是让你的代码更健壮。请记住，服务器可以并且将会响应任何内容。例如，您可能要求使用 gzip 编码，但服务器可能选择返回纯文本。并且代码需要处理这种情况。