hadoop - Hadoop中磁盘或数据节点故障以及恢复的过程是什么

Question

据我所知，Hadoop中的块和副本存储过程由BlockPlacementPolicy函数或进程执行，但这是针对初始存储过程的(第一次将数据存储在HDFS系统上)。我感兴趣的是哪个进程或java函数负责恢复磁盘或Datanode故障后的数据(通过恢复，我的意思是解决复制不足的问题)。我的想法是更改负责的功能，以根据我的需要工作，这意味着要维护副本的数量并将新副本(恢复的副本)存储在我感兴趣的磁盘上。

Answer 1

当节点发生故障时，存储在该节点上的块不再视为可用于HDFS。通过查看节点发生故障或被禁用时未完全复制的块数，可以轻松地看到这一点。

通常，系统会在发生复制不足时(以及容量可用时)尝试解决复制不足的问题。因此，基本上，您要构建的解决方案应该已经存在。

注意:Hadoop不会尝试从损坏的节点中恢复数据，而只是基于未损坏的节点复制相关的块。