hadoop - 如何知道 Hadoop 节点上文件的确切 block 大小？

Question

我有一个 1 GB 文件，我已将其放在 HDFS 上。因此，它将被分解成 block 并发送到集群中的不同节点。

是否有任何命令可以识别特定节点上文件 block 的确切大小？

谢谢。

Answer 1

你应该使用hdfs fsck命令:

hdfs fsck /tmp/test.txt -files -blocks

此命令将打印有关文件包含的所有 block 的信息:

/tmp/test.tar.gz 151937000 bytes, 2 block(s):  OK
0. BP-739546456-192.168.20.1-1455713910789:blk_1073742021_1197 len=134217728 Live_repl=3
1. BP-739546456-192.168.20.1-1455713910789:blk_1073742022_1198 len=17719272 Live_repl=3

如您所见，此处显示了(每行中的 len 字段) block 的实际使用容量。

hdfs fsck 还有许多其他有用的功能，您可以在官方 Hadoop documentation page 中看到。