gpt4 book ai didi

linux - Hadoop:每个namenode和datanode只存在一瞬间

转载 作者:可可西里 更新时间:2023-11-01 15:16:27 25 4
gpt4 key购买 nike

使用 CentOs 5.4

三台虚拟机(使用vmware workstation):ma​​ster, slave1, slave2ma​​ster 用于namenode,slave1 slave2 用于datanode。

Hadoop版本是hadoop-0.20.1.tar.gz,我已经配置好所有相关文件,并用root用户关闭防火墙使用命令:/sbin/service iptables停止。然后尝试在ma​​ster(namenode)虚拟机中格式化namenode并启动hadoop,命令如下,没有报错。

bin/hadoop namenode -format
bin/start-all.sh

然后我现在在ma​​ster机器上输入命令“jps”,得到了正确的结果:

5144 JobTracker
4953 NameNode
5079 SecondaryNameNode
5216 Jps

但是大约几秒钟后,当我尝试输入“jps”命令时,所有虚拟机都只有一个进程:JPS。下面是namenode(ma​​ster)

中显示的结果
5236 Jps

怎么了?或者我怎样才能找到导致问题的原因?这是否意味着它找不到任何名称节点或数据节点?谢谢。


附件:所有我修改的地方:

hadoop-env.sh:

# set java environment
export JAVA_HOME=/usr/jdk1.6.0_13/

核心站点.xml:

<configuration>

<property>
<name>master.node</name>
<value>namenode_master</value>
<description>master</description>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
<description>local dir</description>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://${master.node}:9000</value>
<description> </description>
</property>

</configuration>

hdfs-site.xml:

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>${hadoop.tmp.dir}/hdfs/name</value>
<description>local dir</description>
</property>

<property>
<name>dfs.data.dir</name>
<value>${hadoop.tmp.dir}/hdfs/data</value>
<description> </description>
</property>

</configuration>

mapred-site.xml:

<configuration>

<property>
<name>mapred.job.tracker</name>
<value>${master.node}:9001</value>
<description> </description>
</property>

<property>
<name>mapred.local.dir</name>
<value>${hadoop.tmp.dir}/mapred/local</value>
<description> </description>
</property>

<property>
<name>mapred.system.dir</name>
<value>/tmp/mapred/system</value>
<description>hdfs dir</description>
</property>

</configuration>

大师:

master

奴隶:

slave1 
slave2

/etc/主机:

192.168.190.133 master
192.168.190.134 slave1
192.168.190.135 slave2

最佳答案

从日志文件中,我发现我应该将文件 core-site.xml 中的 namenode_master 更改为 master。现在可以了。

关于linux - Hadoop:每个namenode和datanode只存在一瞬间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20414638/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com