hadoop - 从数据节点不在主节点存储中

Question

最近，我在Ubuntu上安装了hadoop多节点集群，一切正常，namenode和secondary node(它的名字HadoopMaster)，所有slaves都是2(HadoopDataNode1，HadoopDataNode2)

执行start-dfs.sh和start-yarn.sh脚本时的问题，所有从节点都在运行其正常作业“datanode和Nodemanager”，一切正常，但主节点HadoopMaster在检查报告时，我只得到一个数据节点，它是主节点数据节点，但我没有找到其他数据节点的数据节点..所有日志文件看起来都不错，没有异常(exception)

dfsadmin -report 的结果

Configured Capacity: 7791403008 (7.26 GB)
Present Capacity: 1433530368 (1.34 GB)
DFS Remaining: 1433505792 (1.34 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)
Live datanodes:
Name: 127.0.0.1:50010 (localhost)
Hostname: HadoopMaster
Decommission Status : Normal
Configured Capacity: 7791403008 (7.26 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 6357872640 (5.92 GB)
DFS Remaining: 1433505792 (1.34 GB)
DFS Used%: 0.00%
DFS Remaining%: 18.40%

我在datanode的日志中发现所有的datanodes都在尝试连接HadoopMaster:9000而无法连接

2014-09-16 04:06:32,721 INFO org.apache.hadoop.ipc.Client: 
Retrying connect to server:        
HadoopMaster/192.168.16.80:9000. Already tried 5 time(s); 
retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

但是 Namenode 在 HadoopMaster namenode 上运行良好 JPS 结果

21655 SecondaryNameNode
22467 Jps
21514 DataNode
21376 NameNode
21809 ResourceManager

然后我检查了HDFS的端口是否打开

tcp        0      0 HadoopMaster:9000       *:*                     LISTEN    21376/java      

**HadoopMaster vi SSH登录无密码可访问的所有datanode

有什么建议请...

Answer 1

似乎存在一些配置问题:来自 master 的 Jps 不应该显示正在运行的数据节点。

如果您专门添加了主节点以充当主节点从属中的从属节点，那么在 jps 中它也应该显示节点管理器。

请交叉检查您的以下文件:

/etc/hosts/
core-site.xml
hdfs-site.xml
yarn-site.xml files on all nodes and slaves file on master node.