Hadoop namenode 为什么总是需要格式化？

Question

我有一个单节点 hadoop 1.0.4，它工作正常(我可以运行 map-reduce 作业)。我遇到的问题是每当我重新启动并执行 start-dfs.sh namenode 时都没有启动，我必须执行“hadoop namenode -format”然后 start-dfs.sh 和 start-mapred.sh 总是..这迫使我每次加载我的数据。您能否提示我可能需要检查的可能的解决方案或配置问题？

谢谢，

Answer 1

看起来你没有覆盖 hdfs 配置 dfs.name.dir , dfs.data.dir, 默认情况下它指向/tmp 目录将被清除当您的机器重新启动时。您必须通过覆盖位于 HADOOP 配置目录中的 hdfs-site.xml 文件中的这些值，将其从/tmp 更改为主目录中的另一个位置。

执行以下步骤

在您的主目录中创建一个目录用于保存名称节点图像和数据节点 block (替换为您的登录名)

mkdir /home/<USER>/pseudo/

如下修改HADOOP_CONF_DIR(hadoop配置目录)中的hdfs-site.xml文件

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
  <name>dfs.name.dir</name>
  <value>file:///home/<USER>/pseudo/dfs/name</value>
</property>
<property>
  <name>dfs.data.dir</name>
  <value>file:///home/<USER>/pseudo/dfs/data</value>
</property>
</configuration>

格式化你的 hdfs namenode 并开始使用