linux - HDFS block 中的数据是如何存储的？

Question

我在阅读有关 HDFS 的内容时想知道是否有任何特定的格式来排列 block 中的数据。

假设有一个 265 MB 的文件被复制到 Hadoop 集群，HDFS block 大小为 64 MB。因此文件被分成 5 个部分——64 MB + 64 MB + 64 MB + 64 MB + 9 MB，并分布在数据节点之间。正确吗？

1. 我怀疑在存储数据的 64 MB block 中是否有任何格式？
2. 如果数据以任何格式/结构存储在 block 中，则存储的数据应小于 64 MB，因为数据结构/ header 等本身可能会占用一些空间。
3. 由于 HDFS 数据节点是一个逻辑文件系统(它运行在 linux 之上，HDFS 没有单独的分区)，所有 block 都应该作为文件存储在 linux 分区中。正确吗？
4. 如何知道 linux 上实际存储 64 MB HDFS block 的文件的名称？

任何人，如果能回答这些疑惑/问题，那就太好了。提前致谢。

问候，

(*Vipul)() ;

Answer 1

1. 不，数据只是在 64MB 边界上拆分。元数据存储在一个单独的小文件和 Namenode 上
2. 不，它正是您指定的大小，并且数据在 64MB 的精确边界上被拆分。如果您有 5 个部分 - 64 MB + 64 MB + 64 MB + 64 MB + 9 MB，那么最后一个文件将为 9MB，其他所有文件均为 64MB
3. 是的， block 存储为文件，每个 block 都表示为一个单独的文件，少量元数据存储在一个单独的文件中
4. hdfs fsck/-files -blocks -locations

以下是 block 文件如何以 128MB block 大小存储的示例:

-rw-r--r--. 1 hdfs hadoop 134217728 Jan 12 09:17 blk_1073741825
-rw-r--r--. 1 hdfs hadoop   1048583 Jan 12 09:17 blk_1073741825_1001.meta
-rw-r--r--. 1 hdfs hadoop 134217728 Jan 12 09:18 blk_1073741826
-rw-r--r--. 1 hdfs hadoop   1048583 Jan 12 09:18 blk_1073741826_1002.meta
-rw-r--r--. 1 hdfs hadoop 134217728 Jan 12 09:18 blk_1073741827
-rw-r--r--. 1 hdfs hadoop   1048583 Jan 12 09:18 blk_1073741827_1003.meta
-rw-r--r--. 1 hdfs hadoop 134217728 Jan 12 09:18 blk_1073741828
-rw-r--r--. 1 hdfs hadoop   1048583 Jan 12 09:18 blk_1073741828_1004.meta
-rw-r--r--. 1 hdfs hadoop 134217728 Jan 12 09:19 blk_1073741829
-rw-r--r--. 1 hdfs hadoop   1048583 Jan 12 09:19 blk_1073741829_1005.meta
-rw-r--r--. 1 hdfs hadoop 134217728 Jan 12 09:19 blk_1073741830
-rw-r--r--. 1 hdfs hadoop   1048583 Jan 12 09:19 blk_1073741830_1006.meta
-rw-r--r--. 1 hdfs hadoop  87776064 Jan 12 09:19 blk_1073741831
-rw-r--r--. 1 hdfs hadoop    685759 Jan 12 09:19 blk_1073741831_1007.meta