java - 集群重启后 Namenode 卡在 SAFEMODE

Question

我设置了3 节点 Hadoop 集群(Apache Hadoop-2.8.0)。我已经部署了 2 个使用 QJM 在 HA 模式下配置的名称节点。在安装namenode的同一台机器上配置了2个datanodes。第三个节点仅用于仲裁目的。

Setup  
Node1 { nn1, dn1, jn1, zkfc1, zkServer1 }  
Node2 -> {nn2, dn2, jn2, zkfc2, zkServer2}  
Node3 -> {jn3,  zkServer3}

我出于某种原因停止了集群(重新启动服务器)并且因为它们我无法成功启动集群。检查日志后，我发现名称节点处于安全模式，并且它们都无法将 block 加载到内存中。以下是名称节点 UI 中名称节点的状态。

Safe mode is ON. The reported blocks 0 needs additional 6132675 blocks to reach the threshold 0.9990 of total blocks 6138814. The number of live datanodes 0 has reached the minimum number 0. Safe mode will be turned off automatically once the thresholds have been reached. 61,56,984 files and directories, 61,38,814 blocks = 1,22,95,798 total filesystem object(s). Heap Memory used 5.6 GB of 7.12 GB Heap Memory. Max Heap Memory is 13.33 GB. Non Heap Memory used 45.19 MB of 49.75 MB Committed Non Heap Memory. Max Non Heap Memory is 130 MB.

名称节点日志中有许多 JVM Pause 消息，因此我尝试增加 HADOOP_HEAPSIZE，增加 HADOOP_NAMENODE_OPTS 中的堆大小，但没有成功。

需要帮助..

Answer 1

在收到 hadoop 用户邮件列表的回复后，我已经解决了这个问题。该问题是由于数据节点未生成 block 报告。我检查了日志，发现数据节点提示 ipc.maximum.data.length 小于要求。

我在 core-site.xml 文件中添加了以下属性来解决对我有用的问题。

<property>
     <name>ipc.maximum.data.length</name>
     <value>101372499</value>
 </property>