Java File.createNewFile() 比 FileOutputStream 慢得多

Question

使用 File.createNewFile() 或 File.createTempFile() 时，我观察到有趣的性能下降。以下代码创建 48 个线程，每个线程将大约 128MB 的数据写入不同的文件。如果我按原样运行代码，在我的特定机器上大约需要 60 秒。如果我完全按原样运行代码，除了注释掉 f.createTempFile() 调用之外，那么大约需要 5 秒。

import java.util.*;
import java.util.concurrent.*;
import java.io.File;
import java.io.BufferedOutputStream;
import java.io.FileOutputStream;
import java.io.IOException;

public final class TestFile implements Runnable {
  public void run() {
    byte[] b = new byte[128205100];
    Arrays.fill(b, (byte)10);

    try {
      File f = new File("/tmp/test", UUID.randomUUID().toString());

      // If I comment the following f.createNewFile() then the code takes
      // 5 seconds rather than 60 to execute. 
      f.createNewFile();

      FileOutputStream fOutputStream =  new FileOutputStream(f);
      BufferedOutputStream fBufStream = new BufferedOutputStream(fOutputStream, 32768);
      fBufStream.write(b);
      fBufStream.close();
    } catch (IOException e) {
      System.err.println("Caught IOException: " + e.getMessage());
    }
  }

  public static void main(String[] args) {
    final ExecutorService executorPool = Executors.newFixedThreadPool(48);
    for (int counter=0; counter < 48; counter++) {
       executorPool.execute(new TestFile());
    }
    try {
      executorPool.shutdown();
      executorPool.awaitTermination(120, TimeUnit.SECONDS);
    } catch (InterruptedException e) {
      System.err.println("Caught InterruptedException: " + e.getMessage());
    }       
  }
}

使用 jstack，我可以看到，当运行上面的代码时，所有线程最终将大部分时间花在 close0() 上。不幸的是，这个函数是原生的:-/知道我在哪里可以找到它的源代码吗？

"Thread-47" #68 prio=5 os_prio=0 tid=0x00007f21001de800 nid=0x4eb4 runnable [0x00007f209edec000]
   java.lang.Thread.State: RUNNABLE
        at java.io.FileOutputStream.close0(Native Method)
        at java.io.FileOutputStream.access$000(FileOutputStream.java:53)
        at java.io.FileOutputStream$1.close(FileOutputStream.java:356)
        at java.io.FileDescriptor.closeAll(FileDescriptor.java:212)
        - locked <0x00000005908ad628> (a java.io.FileDescriptor)
        at java.io.FileOutputStream.close(FileOutputStream.java:354)
        at java.io.FilterOutputStream.close(FilterOutputStream.java:159)
        at TestFile.run(TestFile.java:19)
        at java.lang.Thread.run(Thread.java:745)

我的猜测是某个地方的某个人(在 native close0 内？)正在发出同步，但我没有找到它。我已经在几台机器上对此进行了测试，在其中一些机器上我没有看到性能下降。所以这可能是基于配置或环境的。

我使用 Java 8 在 Ubuntu 上运行。

任何帮助将不胜感激。谢谢!

Answer 1

这很简单。 File.createNewFile() 按该名称搜索文件，如果不存在则创建一个新文件，否则会失败，您正确地忽略了这一点，因为它在至少无论成功与否。 new FileOutputStream() 搜索同名的任何现有文件，将其删除，然后创建一个新文件。

因此，很明显，当后面跟着 new FileOutputStream() 时，File.createNewFile() 完全是浪费时间，因为它强制操作系统:

1. 搜索文件。
2. 如果不存在则创建，否则会失败。
3. 搜索文件。
4. 如果存在，请将其删除。
5. 创建它。

显然(1)和(2)是浪费时间，并且在可能不需要的时候强制(4)发生。

解决方案:不要在 new FileOutputStream(...) 之前调用 File.createNewFile()。或者 new FileWriter(...) ，或者 new PrintStream/PrintWriter(...) 。不但一无所获，还浪费时间和空间。