hadoop - 如何在 hdfs 命令上计算文件中的行数？

Question

我在 HDFS 上有一个文件，我想知道有多少行。 (测试文件)

在 linux 中，我可以这样做:

wc -l <filename>

我可以用“hadoop fs”命令做类似的事情吗？我可以打印文件内容:

hadoop fs -text /user/mklein/testfile

我怎么知道我有多少行？我想避免将文件复制到本地文件系统然后运行 ​​wc 命令。

注意:我的文件是使用 snappy compression 压缩的，这就是为什么我必须使用 -text 而不是 -cat

Answer 1

文件总数:hadoop fs -ls/path/to/hdfs/* | wc -l

总行数:hadoop fs -cat/path/to/hdfs/* | wc -l

给定文件的总行数:hadoop fs -cat/path/to/hdfs/文件名 | wc -l