hadoop - DataNode 未在单节点 hadoop 2.6.0 中启动

Question

我在运行 Ubuntu 14.04LTS 的笔记本电脑上安装了 hadoop 2.6.0。我通过运行 start-all.sh 成功启动了 hadoop 守护进程，并成功运行了一个 WourdCount 示例，然后我尝试运行一个对我不起作用的 jar 示例所以我决定使用 hadoop namenode -format 格式化并重新开始，但是当我使用 start-dfs.sh && start-yarn.sh 启动所有守护进程时，然后 jps all守护进程运行但不运行数据节点，如下所示:

hdferas@feras-Latitude-E4310:/usr/local/hadoop$ jps
12628 NodeManager
12110 NameNode
12533 ResourceManager
13335 Jps
12376 SecondaryNameNode

如何解决？

Answer 1

我遇到过这个问题，很容易解决。您的数据节点没有启动，因为在您的名称节点和数据节点开始运行后，您再次格式化了名称节点。这意味着您已经从名称节点中清除了元数据。现在，您为运行字数统计而存储的文件仍在数据节点中，并且数据节点不知道将 block 报告发送到哪里，因为您格式化了名称节点，因此它不会启动。

以下是修复它所需要做的事情。停止所有 Hadoop 服务 (stop-all.sh) 并关闭所有事件的 ssh 连接。

cat /usr/local/hadoop/etc/hadoop/hdfs-site.xml

这一步很重要，看datanode的数据存放在哪里。它是与 datanode.data.dir 关联的值。对我来说是/usr/local/hadoop/hadoop_data/hdfs/datanode。打开你的终端并导航到上面的目录并删除名为 current 的目录，该目录将位于该目录下。确保您只删除“当前”目录。

sudo rm -r /usr/local/hadoop/hadoop_data/hdfs/datanode/current

现在格式化namenode并检查是否一切正常。

hadoop namenode -format

如果它有任何要求，请说是。

jps

希望我的回答能解决问题。如果它不让我知道。

小建议:不要格式化你的namenode。没有名称节点就无法重建数据。如果您的 wordcount 没有运行，那是其他问题。