Hadoop 作业抛出 ConnectException 访问端口 8021

Question

我使用 Cloudera Manager 安装了 CDH5。我从 Cloudera Map/Reduce 教程中复制并构建了字数统计应用程序

当我运行它时，我得到一个包含以下文本的 ConnectException:

线程“main”中的异常 java.net.ConnectException:从 fatman.localdomain/10.1.1.10 到 fatman.localdomain:8021 的调用在连接异常时失败:java.net.ConnectException:连接被拒绝；有关详细信息，请参阅:http://wiki.apache.org/hadoop/ConnectionRefused

我是 MRv2 和 Yarn 的新手，所以我做了很多研究试图弄清楚这里发生了什么。我的研究表明8021端口通常与MRv1中的JobTracker相关联，而Yarn中没有JobTracker。根据我在异常消息中的链接中发现的内容，似乎存在三个可能的问题，防火墙正在断开连接，配置错误或应该监听该端口的服务未运行。我已确认防火墙已全部关闭。我怀疑没有服务监听 8021 端口，不应该有，这是一个配置问题，但我不知道如何验证。在达到当前状态之前，我已经安装和卸载了几个不同的 CDH 版本。在此过程中可能会出现一些问题。

我找到了一个具有以下属性的 hadoop 配置文件/etc/hadoop/conf/mapred-site.xml:

<property>
    <name>mapred.job.tracker</name>
    <value>fatman.localdomain:8021</value>
</property>
<property>
    <name>mapred.job.tracker.http.address</name>
    <value>0.0.0.0:50030</value>
</property>

所以我可以从这个配置文件中获取 8021 端口。当我调查这个时，我发现 CDH5 定义了 MRv1 端口，包括 8021。所以这让我相信 CDH5 支持 MRv1 和 MRv2。当我在 Cloudera Manager 中查看时，我看到一个“Yarn (MR2 Included)”服务正在运行，并且没有任何看起来与 MRv1 相关联的东西。这让我相信我运行的是 MRv2 而不是 MRv1。

所以我很难过。我怀疑字数统计应用程序不应该尝试在 MRv2 中使用端口 8021(有人可以证实这一点吗？)。有谁知道这里发生了什么或对如何弄清楚发生了什么有任何想法？

谢谢，史蒂夫

更新:我已经解决了这个问题。我认为这是一个配置问题，并小心地卸载了 CDH，确保删除与安装相关的所有内容，然后重新安装。之后一切正常。所以...我并没有真正弄清楚到底出了什么问题，但我现在可以继续前进了。

谢谢 Chowdary 先生的回答。我会投票给它，但我缺乏这样做的声誉。

Answer 1

在没有配置文件和完整错误堆栈的情况下发现问题是很典型的。
在 MR2 中，我们不再使用 JobTracker，因此 hadoop 不再使用带有 jobtracker 的 mapred-site.xml 配置。 yarn-site.xml 用于配置资源管理器，启用yarn模型资源管理和应用监控。
所以你必须在 yarn-site.xml 中定义资源管理器在哪里运行，如下所示

 <property>
    <name>yarn.resourcemanager.address</name>
    <value>host:port</value>
    <description>the host is the hostname of the ResourceManager and the port is the port on
    which the clients can talk to the Resource Manager. </description>
  </property>  

并检查是否配置了SSH，如果不配置，Application Master无法与节点管理器通信启动容器。
可以引用优秀网站this和 this用于在单节点集群中轻松配置 YARN
希望对您有所帮助!