hadoop - 是什么导致 Hadoop 数据节点死亡？

Question

我一直在运行 Hadoop 2.3.0 集群，我注意到状态页面 (:50070/dfshealth.html) 显示每隔几天就会发生一次死亡的数据节点。注意到数据节点故障后，我使用以下命令重新启动进程:

/usr/local/hadoop/sbin/hadoop-daemon.sh stop datanode && /usr/local/hadoop/sbin/yarn-daemon.sh stop nodemanager && /usr/local/hadoop/sbin/hadoop-daemon.sh start datanode && /usr/local/hadoop/sbin/yarn-daemon.sh start nodemanager

一切都在继续。

什么会导致数据节点死亡？是否有诊断过去故障的好工具？

Answer 1

上面的异常(java.net.BindException:绑定(bind)到 [0.0.0.0:50010] 时出现问题)表明我们的数据节点的另一个实例正在运行，因为您已经使用 hadoop-daemon.sh 启动数据节点启动数据节点。数据节点进程运行良好，但无法与名称节点有效通信。

在 Debug模式下停止和启动 namenode 和 datanode 守护进程，可以使用以下命令。

在Namenode主机上，执行以下命令

/usr/local/hadoop/sbin/hadoop-daemon.sh stop namenode ; hadoop namenode 

在datanode主机上，执行以下命令

/usr/local/hadoop/sbin/hadoop-daemon.sh stop datanode ; hadoop datanode

检查来自两个守护进程的日志消息。