ubuntu - Hadoop - EC2 ubuntu 上的环境设置

Question

我在 Amazon EC2 (ubuntu) 上配置 hadoop 2.7.1，所有 TCP 端口 (0 ~ 65535) 都打开。

我的节点结构是nameNode, resourceManager, dataNode01, dataNode02 ， 和每个都有一个 EC2。

此外，我使 SSH 连接成为可能，无需 key 对或密码。

如果我输入 sbin/start-all.sh在 nameNode , 然后 SecondaryNameNode, NameNode创建于 nameNode , NodeManager创建于 resourceManager, dataNode01, dataNode02 . (注意:ResourceManager 不是在 resourceManager 上创建的，并且那些上没有 DataNode。)

为什么不是 DataNode, ResourceManager是否正确创建？

如果我输入 sbin/start-yarn.sh在 resourceManager , 然后 ResourceManager被 build 。 (……这样对吗？)

在网络上 [nameNodeIP]:50070 , 有 3 个死节点 ( resourceManager:50010, dataNode01:50010, dataNode02:50010 )。

那么，我怎样才能使sbin/start-all.sh工作正常吗？

下面这些代码是我做的配置。

核心站点.xml

<configuration>
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://nameNode:9000</value>
    </property>
</configuration>

yarn 网站

<configuration>
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>resourceManager</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
            <name>dfs.replication</name>
            <value>2</value>
    </property>
    <property>
            <name>dfs.hosts</name>
            <value>/home/ubuntu/hadoop-2.7.1/etc/hadoop/slaves</value>
    </property>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>/home/ubuntu/hadoop-2.7.1/data/namenode</value>
    </property>
    <property>
            <name>dfs.datanode.data.dir</name>
            <value>/home/ubuntu/hadoop-2.7.1/data/datanode</value>
    </property>
</configuration>

hadoop-env.sh

(...omitted...)
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export PATH=${JAVA_HOME}/bin:${PATH}
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar

mapred-site.xml

<configuration>
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
</configuration>

奴隶

resourceManager
dataNode01
dataNode02

让我知道我应该修复什么。

谢谢...

Answer 1

我之前遇到过同样的问题，通过以下步骤解决了。

我认为您的slaves 必须包括nameNode 和所有其他节点。

将它添加到你的slaves

奴隶

nameNode
resourceManager
dataNode01
dataNode02

并重新创建您的 dfs.namenode.name.dir 和 dfs.datanode.data.dir(或 data/, data/namenode, data/datanode ) 在你所有的节点中

并格式化你的namenode hadoop namenode -format

最后，执行sbin/start-all.sh

希望它有用