python - 获取文件行数的最快方法

Question

这个问题已经有答案了:

Count lines in large files (15 个回答)

How to get the line count of a large file, at least 5G (2 个回答)

已关闭 8 年前。

我有一个非常大的文件。获得行数的最快方法是什么？以下是我考虑过的一些选项:

wc -l file.txt

sed -n '$=' file.txt

对于大文件(100GB 或更大)，最快的方法是什么？

Answer 1

这是一个interesting discussion关于不同的选择。此处复制的基准:

0.024 sec (avg) - wc -l file.txt
0.121 sec (avg) - sed -n '$=' file.txt
0.396 sec (avg) - nl file.txt | tac |sed -n 1p | awk '{print $1}

在 18 Mb - 500,000 行文件上运行。