apache - 数据节点错误:NameSystem.getDatanode

Question

求助各位

我正在尝试设置我的Hadoop多节点环境(1个主节点，1个辅助节点和3个从属节点-AWS上的hadoop 2.7.1 / Ubuntu 14)，并且我收到“NameSystem.getDatanode”错误消息。我浏览并阅读并尝试过，但达到了极限。你能不能至少指出我的方向

来自主服务器的日志(摘录)-xxx-141 / 142/143是从服务器的ip
'''''''''''''''''''''''''''''''
第134行: 2016-01-23 17:36:19,432错误org.apache.hadoop.hdfs.StateChange:BLOCK * NameSystem.getDatanode:数据节点DatanodeRegistration(XXX.XX.XX.143:50010，datanodeUuid = 6826238d- 9213-4b19-a6eb-13115e3bea8d，infoPort = 50075，infoSecurePort = 0，ipcPort = 50020，storageInfo = lv = -56; cid = CID-57295bbd-e78e-4265-99f7-fdacccbcbcb33a; nsid = 1674724909; c = 0)是尝试报告存储ID 6826238d-9213-4b19-a6eb-13115e3bea8d。节点172.31.22.141:50010有望为该存储服务。

第135行: 2016-01-23 17:36:19,457错误org.apache.hadoop.hdfs.StateChange:BLOCK * NameSystem.getDatanode:数据节点DatanodeRegistration(XXX.XX.XX.142:50010，datanodeUuid = 6826238d- 9213-4b19-a6eb-13115e3bea8d，infoPort = 50075，infoSecurePort = 0，ipcPort = 50020，storageInfo = lv = -56; cid = CID-57295bbd-e78e-4265-99f7-fdacccbcbcb33a; nsid = 1674724909; c = 0)是尝试报告存储ID 6826238d-9213-4b19-a6eb-13115e3bea8d。节点172.31.22.141:50010有望为该存储服务。

第159行: 2016-01-23 17:36:20,988错误org.apache.hadoop.hdfs.StateChange:BLOCK * NameSystem.getDatanode:数据节点DatanodeRegistration(XXX.XX.XX.141:50010，datanodeUuid = 6826238d- 9213-4b19-a6eb-13115e3bea8d，infoPort = 50075，infoSecurePort = 0，ipcPort = 50020，storageInfo = lv = -56; cid = CID-57295bbd-e78e-4265-99f7-fdacccbcbcb33a; nsid = 1674724909; c = 0)是尝试报告存储ID 6826238d-9213-4b19-a6eb-13115e3bea8d。节点XXX.XX.XX.143:50010应该为该存储服务。

从SLAVE2 SERVER日志中提取
'''''''''''''''''''''''''''''''''

2016-01-23 17:36:14,812信息org.apache.hadoop.hdfs.server.datanode.DataNode:STARTUP_MSG:
`2016-01-23 17:36:18,607 INFO org.apache.hadoop.hdfs.server.datanode.DataNode:未成功发送阻止报告0x3c90bbfe60c，其中包含1个存储报告，其中我们发送了0。这些报告有1个总共使用了0个RPC。这需要4毫秒来生成，而144毫秒用于RPC和NN处理。没有任何命令。
2016-01-23 17:36:18,608 WARN org.apache.hadoop.hdfs.server.datanode.DataNode:块池BP-1050309752-MAST.XX.XX.169-1453113991010(Datanode Uuid 6826238d-9213-4b19 -master / MAST.XX.XX.169:9000的-a6eb-13115e3bea8d)服务正在关闭
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException):数据节点DatanodeRegistration(1XX.XX.XX.142:50010，datanodeUuid = 6826238d-9213-4b19-a6eb-13115e3bea8d，infoPort = 50075，infoSecurePort = 0，ipcPort = 50020，storageInfo = lv = -56; cid = CID-57295bbd-e78e-4265-99f7-fdacccbcb33a; nsid = 1674724909; c = 0)试图报告存储ID 6826238d-9213- 4b19-a6eb-13115e3bea8d。节点1XX.XX.XX.141:50010有望为该存储服务。
在org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager.getDatanode(DatanodeManager.java:495)
在org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.processReport(BlockManager.java:1791)
在org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.blockReport(NameNodeRpcServer.java:1315)
在org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolServerSideTranslatorPB.blockReport(DatanodeProtocolServerSideTranslatorPB.java:163)
在org.apache.hadoop.hdfs.protocol.proto.DatanodeProtocolProtos $ DatanodeProtocolService $ 2.callBlockingMethod(DatanodeProtocolProtos.java:28543)
在org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616)
在org.apache.hadoop.ipc.RPC $ Server.call(RPC.java:969)
在org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:2049)
在org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:2045)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:415)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
在org.apache.hadoop.ipc.Server $ Handler.run(Server.java:2043)

at org.apache.hadoop.ipc.Client.call(Client.java:1476)
at org.apache.hadoop.ipc.Client.call(Client.java:1407)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
at com.sun.proxy.$Proxy13.blockReport(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolClientSideTranslatorPB.blockReport(DatanodeProtocolClientSideTranslatorPB.java:199)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.blockReport(BPServiceActor.java:463)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.offerService(BPServiceActor.java:688)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:823)
at java.lang.Thread.run(Thread.java:745)

2016-01-23 17:36:18,610警告org.apache.hadoop.hdfs.server.datanode.DataNode:结束以下块池服务:块池BP-1050309752-MAST.XX.XX.169-1453113991010(Datanode Uuid 6826238d -9213-4b19-a6eb-13115e3bea8d)服务至master / MAST.XX.XX.169:9000
2016-01-23 17:36:18,611 INFO org.apache.hadoop.hdfs.server.datanode.DataNode:删除了块池BP-1050309752-MAST.XX.XX.169-1453113991010(Datanode Uuid 6826238d-9213-4b19- a6eb-13115e3bea8d)
2016-01-23 17:36:18,611信息org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl:删除块池BP-1050309752-MAST.XX.XX.169-1453113991010
2016-01-23 17:36:20,611警告org.apache.hadoop.hdfs.server.datanode.DataNode:正在退出Datanode
2016-01-23 17:36:20,613信息org.apache.hadoop.util.ExitUtil:退出且状态为0
2016-01-23 17:36:20,614信息org.apache.hadoop.hdfs.server.datanode.DataNode:SHUTDOWN_MSG:
/ ***************************************************** ***********
SHUTDOWN_MSG:在ip-SLAV-XX-XX-142 / 1XX.XX.XX.142关闭DataNode
****************************************************** ********** /`

Answer 1

好像你有三个奴隶

172.31.22.141:50010
172.31.22.142:50010
172.31.22.143:50010

在从属服务器已包含在集群中之后，您从第一个从属服务器的克隆中创建了其中两个。
这两个克隆现在已经具有DFS的副本，并使用与第一个从属服务器相同的存储ID。名称服务器只希望具有相同ID的一个从属服务器。它试图通过记录告诉您:

[...] is attempting to report storage ID [...].
Node [...]:50010 is expected to serve this storage.

您可以尝试删除两个从站上的dfs目录，然后重新启动它们。

即停止从站，在dfs目录上执行rm -rf，例如:

rm -rf /tmp/hadoop-hadoop/dfs/

然后，您可以重新启动并检查所有从属设备是否都已连接并测试文件复制，例如通过将某些文件的复制级别设置为4，例如:

hdfs dfs -setrep -w 4 -R /user/somedir

-w选项使命令等待复制成功。