Hadoop 2.9.0 - hadoop namenode -format 和 hdfs-site.xml dfs.namenode.name.dir

Question

我的第一个问题，我会尽量不把事情搞砸:)

出于学习目的，我正在 4 节点集群上安装 Hadoop 2.9.0。我已经按照官方 Apache Hadoop 2.9.0 文档和一些谷歌页面开始安装/配置名称节点。

我像这样编辑了位于 $HADOOP_HOME/etc/hadoop 目录下的 hdfs-site.xml :

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///apps/hdfs/namenode/data</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///apps/hdfs/datanode/data</value>
  </property>
  <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file:///apps/hdfs/namesecondary/data</value>
  </property>

当我运行“hadoop namenode -format”时，它将默认的 $hadoop.tmp.dir 格式化为/tmp/hadoop-hadoop/...

发现一些页面说要将 HADOOP_CONF_DIR 设置为 XML 配置文件所在的位置(即:$HADOOP_HOME/etc/hadoop)，但也有一些页面说相反，不要设置它。

就我而言，它确实解决了我的问题，但不确定它是否是正确的修改？

如果有人能帮助我理解这一点，那就太好了:)

非常感谢!

Answer 1

目前还不清楚您遇到了什么问题，但是 HADOOP_CONF_DIR 有一个默认设置，该设置在 hadoop-env.sh 文件中设置，该文件先于所有加载hadoop 命令。

我相信这可能只是/etc/hadoop。至少，这是大多数集群存储配置的地方

由于您的文件在其他地方，您需要将该值导出到其他地方，这很好。

就个人而言，我建议使用 Apache Ambari 而不是手动管理和安装 2 个以上的节点。它将确保您的配置匹配并另外监控服务