戈朗 : How do I determine the number of lines in a file efficiently?

Question

在 Golang 中，我正在寻找一种确定文件行数的有效方法。

当然，我总是可以遍历整个文件，但似乎效率不高。

file, _ := os.Open("/path/to/filename")
fileScanner := bufio.NewScanner(file)
lineCount := 0
for fileScanner.Scan() {
    lineCount++
}
fmt.Println("number of lines:", lineCount)

有没有更好(更快、更便宜)的方法来查明一个文件有多少行？

Answer 1

这是一个更快的行计数器，使用 bytes.Count 来查找换行符。

它更快，因为它消除了返回整行所需的所有额外逻辑和缓冲，并利用 bytes 包提供的一些汇编优化函数来搜索 byte slice 中的字符。

较大的缓冲区在这里也有帮助，尤其是对于较大的文件。在我的系统上，对于我用于测试的文件，32k 缓冲区是最快的。

func lineCounter(r io.Reader) (int, error) {
    buf := make([]byte, 32*1024)
    count := 0
    lineSep := []byte{'\n'}

    for {
        c, err := r.Read(buf)
        count += bytes.Count(buf[:c], lineSep)

        switch {
        case err == io.EOF:
            return count, nil

        case err != nil:
            return count, err
        }
    }
}

和基准输出:

BenchmarkBuffioScan   500      6408963 ns/op     4208 B/op    2 allocs/op
BenchmarkBytesCount   500      4323397 ns/op     8200 B/op    1 allocs/op
BenchmarkBytes32k     500      3650818 ns/op     65545 B/op   1 allocs/op