hadoop - hdfs dfs -count 从哪里获取信息？

Question

我们需要计算 Multi-Tenancy 多节点集群中大量目录中的文件数量，该集群具有大量数据。所以，我想知道命令“hdfs dfs -count/path/to/directory”从哪里来得到它的信息？它像 hdfs dfs -ls 一样工作吗？或者它直接从 HDFS 中的 Namenode 获取它的信息？

非常感谢!

Answer 1

它从 FileSystem API 调用 getContentSummary 方法:

ContentSummary summary = src.fs.getContentSummary(src.path);
out.println(summary.toString(showQuotas) + src);

org.apache.hadoop.fs.FsShell.Count 的源代码

getContentSummary 的源代码