hadoop - 在 hadoop 中，有没有办法获取 hdfs block 的底层文件系统文件名？

Question

我了解到hdfs将其文件作为数据 block 存储在数据节点上，每个 block 实际上作为文件存储在每个数据节点的本地文件系统中。

所以我想知道在给定 hdfs 文件名的情况下，是否有办法在本地文件系统中获取 hdfs block 的实际文件名。

谢谢。

Answer 1

您可以对您想到的文件使用 Hadoop 的 FSCK 命令。这将返回主机名和 block 名。但是，它不提供本地文件系统上文件的完整路径。

$ hadoop fsck/path/to/file -files -blocks -locations

另一种选择是通过 HDFS WebUI。如果浏览到每个文件，它将列出 block 名称和主机。