ubuntu - Hadoop YARN 无法从数据节点启动资源管理器(EC2 上的 Ubuntu 16.04)

Question

我正在尝试使用 AWS EC2s，所有 Ubuntu 16.04 在 4 个节点上构建一个 Hadoop 集群。

一切似乎都运行良好，并且在格式化 namenode 或运行 start-dfs.sh 时日志文件不会产生任何错误和 start-yarn.sh
但是当我尝试将文件上传到 HDFS 时，数据节点似乎无法连接到资源管理器。 namenode 上的一般错误告诉我有 0 个节点正在运行，数据节点的日志文件告诉我:

INFO org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Registering with RM using containers :[]
INFO org.apache.hadoop.ipc.Client: Retrying connect to server: ip-10-0-0-190.eu-central-1.compute.internal/10.0.0.190:8025. Already tried 0 time(s); maxRetries=45

它指向 namenode (10-0-0-190) 的私有(private) IP 地址，这是同一 VPC 中的不同 EC2 实例。

每个节点(数据节点和名称节点)的 yarn-site.xml 看起来都一样，都指向名称节点:

<?xml version="1.0"?>
<!--
  ...
-->
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>10.0.0.190:8025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>10.0.0.190:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>10.0.0.190:8050</value>
    </property>
</configuration>

我找不到我做错了什么，而且我发现很难根据这些日志错误/警告来判断出了什么问题。

高度赞赏帮助!如果需要，我可以提供更多详细信息/日志/配置详细信息。

Answer 1

您是否更新了数据节点中的/etc/hosts 文件？还要在数据节点上运行 jps 命令以查看它们是否正在运行。