gpt4 book ai didi

hadoop - Hadoop从服务器无法连接到主服务器,即使服务正在运行且端口已打开

转载 作者:行者123 更新时间:2023-12-02 21:44:37 25 4
gpt4 key购买 nike

我正在运行hadoop 2.5.1,当从属服务器连接到主服务器时遇到问题。我的目标是建立一个Hadoop集群。希望有人能提供帮助,我已经为此付出了太长时间了! :)

这就是从服务器的日志文件:

2014-10-18 22:14:07,368 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: master/192.168.0.104:8020

这是我的core-site.xml -file(在主服务器和从服务器上相同):
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master/</value>
</property>
</configuration>

这是我的主机-file(在主服务器和从属服务器上几乎相同)。.我在那里有硬编码的地址,但没有成功:
127.0.0.1       localhost 
192.168.0.104 xubuntu: xubuntu
192.168.0.104 master
192.168.0.194 slave

# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

来自主站的Netstats:
xubuntu@xubuntu:/usr/local/hadoop/logs$ netstat -atnp | grep 8020
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
tcp 0 0 192.168.0.104:8020 0.0.0.0:* LISTEN 26917/java
tcp 0 0 192.168.0.104:52114 192.168.0.104:8020 ESTABLISHED 27046/java
tcp 0 0 192.168.0.104:8020 192.168.0.104:52114 ESTABLISHED 26917/java

Nmap从大师到大师:
Starting Nmap 6.40 ( http://nmap.org ) at 2014-10-18 22:36 EEST
Nmap scan report for master (192.168.0.104)
Host is up (0.000072s latency).
rDNS record for 192.168.0.104: xubuntu:
PORT STATE SERVICE
8020/tcp open unknown

..和从从站到主站的nmap(即使端口打开,从站也不会连接到它。):
ubuntu@ubuntu:/usr/local/hadoop/logs$ nmap master -p 8020
Starting Nmap 6.40 ( http://nmap.org ) at 2014-10-18 22:35 EEST
Nmap scan report for master (192.168.0.104)
Host is up (0.14s latency).
PORT STATE SERVICE
8020/tcp open unknown

这是怎么回事?问题不关乎防火墙。.我还阅读了与此相关的每个线程,但均未成功。我对此感到沮丧.. :(

最佳答案

至少有一个问题是您为HDFS使用了旧的配置名称。对于2.5.1版,配置名称应为fs.defaultFS而不是fs.default.name。我还建议在值中定义端口,因此该值将为hdfs://master:8020

抱歉,我不是Linux专家,所以我不了解nmap,但是telnet'ing是否能从从站到主站再到端口工作?

关于hadoop - Hadoop从服务器无法连接到主服务器,即使服务正在运行且端口已打开,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26443856/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com