hadoop - YARN Application Master 无法连接到 Resource Manager

Question

我有一个 4 节点集群(1 个名称节点/资源管理器 3 个数据节点/节点管理器)

我正在尝试运行一个简单的 tez 示例 orderedWordCount

hadoop jar C:\HDP\tez-0.4.0.2.1.1.0-1621\tez-mapreduce-examples-0.4.0.2.1.1.0-1621.jar orderedwordcount sample/test.txt /sample/out

作业被接受，Application master 和容器被设置但是在节点管理器上我看到了这些日志

2014-09-10 17:53:31,982 INFO [ServiceThread:org.apache.tez.dag.app.rm.TaskSchedulerEventHandler] org.apache.hadoop.yarn.client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8030

2014-09-10 17:53:34,060 INFO [ServiceThread:org.apache.tez.dag.app.rm.TaskSchedulerEventHandler] org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8030. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

在可配置的超时后作业失败

我搜索了这个问题，它总是指向 yarn.resourcemanager.scheduler.address 配置。在我所有的资源管理器节点和节点管理器中，我都正确定义了这个配置，但由于某种原因，它没有被拾取

<property>
<name>yarn.resourcemanager.hostname</name>
<value>10.234.225.69</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>${yarn.resourcemanager.hostname}:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>${yarn.resourcemanager.hostname}:8033</value>
</property>

Answer 1

您的 ResourceManager 可能正在监听 IPv6 端口，而您的工作节点(即 NodeManager)可能正在使用 IPv4 连接到 ResourceManager

要快速检查是否是这种情况，请执行

netstat -aln | grep 8030

如果您得到类似于 :::8030 的内容，那么您的 ResourceManager 确实正在监听 IPv6 端口。如果它是 IPv4 端口，您应该会看到类似于 0.0.0.0:8030

的内容

要解决此问题，您可能需要考虑在所有计算机上禁用 IPv6，然后再试一次。