linux - 计算大文件中的行数

Question

我通常处理约 20 Gb 大小的文本文件，我发现自己经常计算给定文件中的行数。

我现在的做法只是 cat fname | wc -l，耗时很长。有没有更快的解决方案？

我在安装了 Hadoop 的高性能集群中工作。我想知道 map reduce 方法是否有帮助。

我希望解决方案像 wc -l 解决方案一样简单，就像一行运行一样，但不确定它的可行性。

有什么想法吗？

Answer 1

试试:sed -n '$=' 文件名

cat 也是不必要的:wc -l filename 以你现在的方式就足够了。