java - 将文件内容存储到 StringBuilder 显然占用了太多内存

Question

我有这个代码:

public static void main(String[] args) {
    System.out.println("Reading file...");
    String content = readFile(args[0]);
    System.out.println("Done reading file.");
}

private static String readFile(String file) throws IOException {
    BufferedReader reader = new BufferedReader( new FileReader (file));
    String         line = null;
    StringBuilder  stringBuilder = new StringBuilder();
    while( ( line = reader.readLine() ) != null ) {
        stringBuilder.append( line );
    }

    return stringBuilder.toString();
}

readFile对于小文件，该方法效果很好。

我注意到它占用了太多内存。

如果我在 Windows 上打开系统监视器 (CTRL-SHIFT-ESC)，我会看到 java 进程占用了 1.8GB RAM，而我的文件大小仅为 550MB。

是的，我知道，将文件完全加载到内存中并不是一个好主意，我这样做只是出于好奇。

程序卡在 Reading file...当新创建的 java 进程启动时，它需要大量 MB 的 RAM，最高可达 1.8GB。

我还尝试使用字符串连接而不是使用 StringBuilder ，但我得到了完全相同的结果。

为什么要占用这么多内存？是最后的stringBuilder.toString造成这个？

Answer 1

你必须记住这些库是如何工作的。

磁盘上的一个字节可以变成 2 字节字符。 StringBuilder 的容量会增加一倍，因此它可以达到您实际需要的两倍，并且您需要同时在内存中使用 StringBuilder 和 String。

就拿你的例子来说吧。仅以 char 形式，550 MB 就可以变成 1100 MB。然而，大小加倍，因此它大约是 2 的下一个幂，即它可能是 2 GB，并且它位于 550 MB 的字符串之上。

注意:它没有使用这么多内存的原因是你有一个错误。您将丢弃所有新行 \r\n 这意味着您的字符数较少。

<小时/>

在处理大文件时，如果您没有足够的内存将其立即加载到内存中，最好在读取数据时对其进行处理。

顺便说一句，如果您有足够的内存，您可以更快地读取文件，这样可以减少内存。

static String readFile(String file) throws IOException {
    try(FileInputStream fis = new FileInputStream(file)) {
         byte[] bytes = new byte[(int) fis.available()];
         fis.read(bytes);
         return new String(bytes);
    }
}