java - 在 Java 中逐行读取文本文件的最快方法

Question

对于日志处理，我的应用程序需要逐行读取文本文件。首先我使用了 BufferedReader 的函数 readLine() 但我在网上看到 BufferedReader 在读取文件时很慢。
之后，我尝试将 FileInputStream 与 FileChannel 和 MappedByteBuffer 一起使用，但在这种情况下，没有类似于 readLine() 的功能，所以我在我的文本中搜索换行符并对其进行处理:

    try {
        FileInputStream f = new FileInputStream(file);
        FileChannel ch = f.getChannel( );
        MappedByteBuffer mb = ch.map(FileChannel.MapMode.READ_ONLY, 0L, ch.size());
        byte[] bytes = new byte[1024];
        int i = 0;
        while (mb.hasRemaining()) {
            byte get = mb.get();
            if(get == '\n') {
                if(ra.run(new String(bytes)))
                    cnt++;
                for(int j = 0; j<=i; j++)
                    bytes[j] = 0;
                i = 0;
            }
            else
                bytes[i++] = get;
        }
    } catch(Exception ex) {
        ex.printStackTrace();
    }

我知道这可能不是实现它的好方法，但是当我以字节为单位读取文本文件时，它比使用 BufferedReader 快 3 倍，但调用 new String(bytes) 会创建一个new String 并使程序比使用 BufferedReader 时更慢。
所以我想问一下逐行读取文本文件的最快方法是什么？有人说 BufferedReader 是解决这个问题的唯一方法。

附言:ra 是 dk.brics.Automaton 库中的 RunAutomaton 实例。

Answer 1

我非常怀疑 BufferedReader 会导致很大的开销。添加您自己的代码可能至少同样低效，而且很可能也是错误的。

例如，在您提供的代码中，您正在调用 new String(bytes)，它始终会使用平台默认编码从 1024 字节创建一个字符串...这不是个好主意。当然，您随后清除了数组，但您的字符串仍将包含一堆 '\0' 字符 - 这意味着大量的空间浪费，除此之外。您应该至少限制从中创建字符串的字节数组部分(这也意味着您不需要之后清除数组)。

您是否真的尝试过使用BufferedReader 并发现它太慢了？您通常应该首先编写最简单的代码来满足您的目标，然后检查它是否足够快......特别是如果您不这样做的唯一原因是您“在互联网上阅读”的未指定资源。你想让我找到数百个关于人们提出不正确性能建议的例子吗？ :)

作为替代方案，您可能需要查看 Guava Files.readLines() 的重载需要一个 LineProcessor .