hadoop - 尝试运行 Hadoop 2.4.0 时出错(-bash : bin/start-all. sh:没有这样的文件或目录)

Question

我正在执行以下操作以在我的 Mac 上安装和运行 Hadoop:

首先我安装 HomeBrew 作为包管理器

ruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)"

然后我使用 Brew 命令安装 Hadoop:

brew install hadoop

然后是以下内容:

cd /usr/local/Cellar/hadoop/1.1.2/libexec

export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc="

然后我通过将以下内容添加到正确的 .xml 文件来配置 Hadoop:

核心站点.xml

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>

hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

mapred-site.xml

<property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
</property>

然后我启用 SSH 到 localhost:

System Preferences > Sharing > “Remote Login” is checked.

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

然后我格式化 Hadoop 文件系统:

bin/hadoop namenode -format

然后启动 Hadoop(或者至少尝试......这是我得到错误的地方)

bin/start-all.sh

我收到错误 -bash: bin/start-all.sh: No such file or directory。

我在设置过程中做的一件“奇怪”的事情是，由于 2.4.0 中不再有 mapred-site.xml 文件，我只是将 mapred-site.xml.template 文件复制到我的桌面，并将其重命名为 mapred- site.xml，并将新副本放入文件夹中。我也尝试在没有任何 mapred-site.xml 配置的情况下运行，但仍然出现此错误。

Answer 1

AFAIK，brew 默认安装 hadoop-2.4.0。见这里 https://github.com/Homebrew/homebrew/blob/master/Library/Formula/hadoop.rb
而在 hadoop2.x 中没有 start-all.sh文件在 bin文件夹。已移至 sbin .您还需要更多配置。这些链接可能有用:http://codesfusion.blogspot.in/2013/10/setup-hadoop-2x-220-on-ubuntu.html https://hadoop.apache.org/docs/r2.2.0/