java - 写一个巨大的文件和 Java 堆空间

Question

我正在尝试将一个500mb 到 1.5 gb 之间的大文件写入磁盘。我使用 zipOutputStream 压缩它然后通过网络发送它

但在客户端中，当我尝试解压和写它，它给了我 Java heap space. exception

  try (FileOutputStream fos = new FileOutputStream(outFile)) {
                int fileLength = (int)zipEntry.getSize();

                byte[] fileByte = new byte[fileLength];
                zips.read(fileByte);
                fos.write(fileByte);
            }

我知道字节数组的内存分配相当大，但我怎么可能修复它？

Answer 1

您创建的 byte[] 数组是您的缓冲区，该缓冲区在从您的 InputStream 传输到您的 期间用作堆中的临时位置输出流。除非您希望您的程序在内存中使用 500mb - 1.5gb，否则您需要减少缓冲区大小。这是我用于执行此操作的常用方法。此方法使用 1kb 缓冲区，您可以调整大小并查看最适合您的大小。

/**
 * writes all bytes from inputStream to outputStream
 * @param source
 * @param destination
 * @throws IOException
 */
public static void pipeStreams(java.io.InputStream source, java.io.OutputStream destination) throws IOException {

    // 1kb buffer
    byte [] buffer = new byte[1024];
    int read = 0;
    while((read=source.read(buffer)) != -1) {
        destination.write(buffer, 0, read);
    }
    destination.flush();
}

使用此方法的代码看起来像

try (FileOutputStream fos = new FileOutputStream(outFile)) {
    pipeStreams(zips, fos);
}