java - 我应该如何在不溢出堆的情况下处理大型(70MB 未压缩)字节流的解压？

Question

我正致力于为我们的一些系统之间的交互实现 GZIP 压缩。这些系统是用 Java 和 C# 编写的，因此双方都使用了 GZIP 流，因为它们具有标准库支持。

在 C# 方面，一切正常，包括我们最大的测试文件(未压缩的 70MB)，但是我们遇到了 Java 堆空间不足的问题。我们已尝试将堆大小增加到 IDE 的容量，但问题仍未解决。

我已经采取了一些措施来尝试优化 Java 代码，但似乎无法阻止数据堆积在堆中。有没有好的方法来处理这个问题？以下是我当前(处理较小的流)解决方案的一个子集。

编辑:根据@MarkoTopolnik 的建议修改以下代码。通过更改，崩溃前读取了 1700 万个字符。

public static String decompress(byte[] compressed, int size)
{
    GZIPInputStream decompresser;
    BufferedReader reader;
    char buf[] = new char[(size < 2048) ? size : 2048];
    Writer ret = new StringWriter( buf.length );

    decompresser = new GZIPInputStream( new ByteArrayInputStream( compressed ), buf.length );
    reader = new BufferedReader( new InputStreamReader( decompresser, "UTF-8" ) );

    int charsRead;
    while( (charsRead = reader.read( buf, 0, buf.length )) != -1 )
    {
        ret.write( buf, 0, charsRead );
    }
    decompresser.close();
    reader.close();

    return ret.toString();
}

代码在 ArrayList 中超过 760 万个字符后终止，堆栈跟踪表明 ArrayList.add() 调用是原因(触发内部数组展开后失败)

使用上面编辑过的代码，调用 AbstractStringBuilder.expandCapacity() 会终止程序。

是否有一种内存消耗较少的方法来实现动态数组，或者我可以使用一些完全不同的方法从解压流中获取字符串？任何建议将不胜感激!

Answer 1

我会将其分块而不是将整个内容读入内存:一次读入 1024 字节缓冲区并立即将其写出，更像是 Unix 管道而不是两步读/写过程。