gpt4 book ai didi

amazon-web-services - EC2 上的 Hadoop Mapreduce 错误 - 从 master/ip 调用到 master :9000 failed

转载 作者:行者123 更新时间:2023-12-02 21:09:09 25 4
gpt4 key购买 nike

所以我在私有(private) AWS VPC 上建立了一个简单的 2 节点 hadoop 集群。所以我使用的是私有(private) IP 和 DNS,而不是他们给你 AWS 的公共(public) IP。

我已经启动并运行了 HDFS,我可以使用文件系统来创建和移动文件/目录。但是当我尝试运行简单的 Mapreduce 作业(例如 wordcount)时,我收到以下错误:

 Call From master/10.205.232.248 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
java.net.ConnectException: Call From master/10.205.232.248 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

我的/etc/hosts 如下所示:
10.205.232.248 <master_hostname> ip-10-205-232-248 master
10.205.232.249 <slave_hostname> ip-10-205-232-249 slave
127.0.0.1 localhost.localdomain localhost
127.0.0.1 localhost4.localdomain4 localhost4

我的核心站点.xml:
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

我的 mapred-site.xml:
        <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>10.205.232.248:9001</value>
</property>

我的 yarn 站点.xml:
        <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHander</value>
</property>

我忽略了哪些配置设置以获取此连接错误?
谢谢!

最佳答案

检查机器中的防火墙,并在 aws 安全组中打开端口(入站和出站)

关于amazon-web-services - EC2 上的 Hadoop Mapreduce 错误 - 从 master/ip 调用到 master :9000 failed,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40875336/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com