hadoop - HDFS 中的数据完整性 : Which Data Node(s) verifies the checksum?

Question

根据 Hadoop: The Definitive Guide, Second Edition

A. Datanodes are responsible for verifying the data they receive before storing the data and its checksum.

他们是否通过验证校验和来验证数据？

B. A client writing data sends it to a pipeline of datanodes (as explained in Chapter 3), and the last datanode in the pipeline verifies the checksum.

那么，这是否意味着每个数据节点都验证校验和(如 A 中所述)或只有管道中的最后一个数据节点验证校验和(如 B 中所述)。

Answer 1

这取决于您运行的 Hadoop 版本。最新版本仅在最后一个数据节点上执行校验和检查，因为没有真正的理由在每个节点上执行此操作，如 JIRA 中所述:https://issues.apache.org/jira/browse/HADOOP-3328

同样值得注意的是，客户端在读回 block 时也会检查每个 block 读取的校验和。如果 block 与其相应的校验和不匹配，则客户端将从另一个具有该 block 副本的数据节点请求相同的 block 。