java - 在 Mac OS X 上安装、配置和运行 Hadoop 2.2.0

Question

我已经安装了 hadoop 2.2.0，并根据此处的教程设置了所有内容(针对单个节点):Hadoop YARN Installation .但是，我无法让 hadoop 运行。

我认为我的问题是我无法连接到我的本地主机，但我不太确定为什么。我已经花了大约 10 个小时来安装、谷歌搜索和讨厌开源软件安装指南，所以我现在转向了一个从未让我失望的地方。

因为一张图片抵得上一千个字，我给你我的设置......在许多 words 图片中:

---

基本配置文件/设置

我正在运行 Mac OS X (Mavericks 10.9.5)

不管它值多少钱，这是我的/etc/hosts 文件:

我的 bash 配置文件:

---

Hadoop 文件配置

core-site.xml 和 hdfs-site.xml 的设置:

注意:我已经在您在上面看到的位置创建了文件夹

我的 yarn-site.xml 的设置:

我的 hadoop-env.sh 文件的设置:

---

旁注

在我显示运行 start-dfs.sh、start-yarn.sh 的结果之前，检查一下 jps 正在运行什么，请记住我有一个指向 hadoop-2.2.0 的 hadoop。

---

启动 Hadoop

现在，这是我启动守护进程时的结果:

对于那些没有显微镜的人(在这篇文章的预览中它看起来非常小)，这是上面显示的代码块:

mrp:~ mrp$ start-dfs.sh
2014-11-08 13:06:05.695 java[17730:1003] Unable to load realm info from SCDynamicStore
14/11/08 13:06:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [localhost]
localhost: starting namenode, logging to /usr/local/hadoop-2.2.0/logs/hadoop-mrp-namenode-mrp.local.out
localhost: starting datanode, logging to /usr/local/hadoop-2.2.0/logs/hadoop-mrp-datanode-mrp.local.out
localhost: 2014-11-08 13:06:10.954 java[17867:1403] Unable to load realm info from SCDynamicStore
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop-2.2.0/logs/hadoop-mrp-secondarynamenode-mrp.local.out
0.0.0.0: 2014-11-08 13:06:16.065 java[17953:1403] Unable to load realm info from SCDynamicStore
2014-11-08 13:06:20.982 java[17993:1003] Unable to load realm info from SCDynamicStore
14/11/08 13:06:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

mrp:~ mrp$ start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-mrp-resourcemanager-mrp.local.out
2014-11-08 13:06:43.765 java[18053:20b] Unable to load realm info from SCDynamicStore
localhost: starting nodemanager, logging to /usr/local/hadoop-2.2.0/logs/yarn-mrp-nodemanager-mrp.local.out

检查正在运行的内容:

---

超时

好的。到目前为止，我认为，一切都很好。至少根据所有其他教程和帖子，这看起来不错。我认为。

在我尝试做任何花哨的事情之前，我只想看看它是否正常工作，然后运行一个简单的命令，如 hadoop fs -ls。

---

失败

当我运行 hadoop fs -ls 时，这是我得到的:

同样，如果您看不到那张照片，它会说:

2014-11-08 13:23:45.772 java[18326:1003] Unable to load realm info from SCDynamicStore
14/11/08 13:23:45 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
ls: Call From mrp.local/127.0.0.1 to localhost:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

我尝试运行其他命令，但在开始时遇到相同的基本错误:

Call From mrp.local/127.0.0.1 to localhost:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

现在，我已经访问了提到的那个网站，但老实说，那个链接中的所有内容对我来说都毫无意义。我不明白我应该做什么。

我将非常感谢任何帮助。你会让我成为有史以来最快乐的 hadooper。

...这不言而喻，但很明显，如果需要，我很乐意编辑/更新更多信息。谢谢!

Answer 1

将这些添加到 .bashrc

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"