java - HDFS 文件系统 - 如何获取目录中特定文件的字节数

Question

我正在尝试获取 HDFS 目录中特定文件的字节数。

我尝试使用 fs.getFileStatus() ，但我没有看到任何获取文件字节数的方法，我只能看到 getBlockSize() 方法.

有什么方法可以获取 HDFS 中特定文件的字节数吗？

Answer 1

fs.getFileStatus() 返回一个 FileStatus 对象，该对象具有一个 getLen() 方法，该方法将返回“此文件的长度(以字节为单位)”。也许你应该仔细看看:https://hadoop.apache.org/docs/r2.6.1/api/org/apache/hadoop/fs/FileStatus.html 。

但是请注意，文件大小在 HDFS 上并不那么重要。文件将被组织在所谓的数据 block 中，每个数据 block 默认为 64 MB。因此，如果您处理许多小文件(这是 HDFS 上的一大反模式)，您的容量可能会比您预期的要少。请参阅此链接了解更多详细信息:

https://hadoop.apache.org/docs/r2.6.1/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Blocks