apache - Hadoop SecondaryNameNode 问题

Question

使用 Ubuntu VM 运行 Hadoop 版本 1.2.14 个虚拟机1. hadoop-NN(名称节点)2. hadoop-snn(二级名称节点)3. hadoop-dn01(数据节点1)4. hadoop-dn02(数据节点2)所有进程使用start-all.sh启动

我在次要名称节点中没有看到编辑发生，这意味着次要名称节点上的 fsiamge 没有得到更新。SecondaryNameNode 上的日志文件显示以下错误。

2015-02-04 13:16:12,083 信息 org.apache.hadoop.hdfs.server.common.Storage:文件数 = 502015-02-04 13:16:12,086 信息 org.apache.hadoop.hdfs.server.common.Storage:正在 build 的文件数 = 02015-02-04 13:16:12,087 信息 org.apache.hadoop.hdfs.server.namenode.FSEditLog:开始加载编辑文件/tmp/hadoop-hadoop/dfs/namesecondary/current/edits2015-02-04 13:16:12,088 信息 org.apache.hadoop.hdfs.server.namenode.FSEditLog:/tmp/hadoop-hadoop/dfs/namesecondary/current/edits 的 EOF，已到达编辑日志的结尾事务数找到:8。读取的字节数:7402015-02-04 13:16:12,088 信息 org.apache.hadoop.hdfs.server.namenode.FSEditLog:编辑文件/tmp/hadoop-hadoop/dfs/namesecondary/current/edits 大小 740 edits # 8 loaded in 0秒。2015-02-04 13:16:12,088 信息 org.apache.hadoop.hdfs.server.namenode.FSEditLog:事务数:0 事务总时间(毫秒):0 同步中批处理的事务数:0 同步数:0 同步时间(毫秒):02015-02-04 13:16:12,128 信息 org.apache.hadoop.hdfs.server.namenode.FSEditLog:关闭编辑日志:position=740，editlog=/tmp/hadoop-hadoop/dfs/namesecondary/current/edits2015-02-04 13:16:12,128 信息 org.apache.hadoop.hdfs.server.namenode.FSEditLog:关闭成功:截断为 740，editlog=/tmp/hadoop-hadoop/dfs/namesecondary/current/edits2015-02-04 13:16:12,130 信息 org.apache.hadoop.hdfs.server.common.Storage:图像文件/tmp/hadoop-hadoop/dfs/namesecondary/current/fsimage 大小为 5124 字节，在 0 秒内保存。2015-02-04 13:16:12,229 信息 org.apache.hadoop.hdfs.server.namenode.FSEditLog:关闭编辑日志:position=4，editlog=/tmp/hadoop-hadoop/dfs/namesecondary/current/edits2015-02-04 13:16:12,230 信息 org.apache.hadoop.hdfs.server.namenode.FSEditLog:关闭成功:截断为 4，editlog=/tmp/hadoop-hadoop/dfs/namesecondary/current/edits2015-02-04 13:16:12,485 信息 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode:发布 URL hadoop-nn:50070putimage=1&port=50090&machine=0.0.0.0&token=-41:307905665:0:1423080068000 :1423079764851&newChecksum=9bbe4619db3323211ed473f3f8acb7a92015-02-04 13:16:12,485 信息 org.apache.hadoop.hdfs.server.namenode.TransferFsImage:打开与 http://hadoop-nn:50070/getimage?putimage=1&port=50090&machine=0.0.0.0&token=-41:307905665:0:1423080068000:1423079764851&newChecksum=9bbe4619db3323211ed473f3f8acb7a9 的连接2015-02-04 13:16:12,489 错误 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode:doCheckpoint 异常:2015-02-04 13:16:12,490 错误 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode:java.io.FileNotFoundException:http://hadoop-nn:50070/getimage?putimage=1&port=50090&machine=0.0.0.0&token=-41:307905665:0:1423080068000:1423079764851&newChecksum=9bbe4619db3323211ed473f3f8acb7a9 在 sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1624) 在 org.apache.hadoop.hdfs.server.namenode.TransferFsImage.getFileClient(TransferFsImage.java:177) 在 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.putFSImage(SecondaryNameNode.java:462) 在 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doCheckpoint(SecondaryNameNode.java:525) 在 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doWork(SecondaryNameNode.java:396) 在 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.run(SecondaryNameNode.java:360) 在 java.lang.Thread.run(Thread.java:745)

Answer 1

<property>
<name>dfs.secondary.http.address</name>
<value>hadoop-snn:50090</value>
</property>
在 hdfs-site.xml 中添加此标记可解决问题。