java - 从节点可以运行Hadoop Map/Reduce Job吗？

Question

我在两个节点(主节点和从节点)上安装了 Hadoop。我会问我是否可以从从机运行 Map/Reduce 作业或从从机使用 HDFS。从主节点运行 map/reduce 作业没有问题，但是当我尝试从从节点运行 Map/Reduce 作业时，出现以下错误。

Java.net.connectionException 因连接异常而失败。

Answer 1

只要每个节点都配置了正确的 jobtracker 位置属性，您就可以从集群中的任何机器运行作业。事实上，您可以在任何机器上运行作业，包括您的个人台式机或笔记本电脑，只要您连接到服务器(也就是说，没有防火墙挡在您的路上)并且 Hadoop 配置了正确的 jobtracker 和名称节点。

确保 mapred.job.tracker 在从站上配置到主站的主机和端口。类似于 master.com:8021。并确保您可以在从站和主站之间建立连接，例如通过运行 telnet master.com 8021。我假设您可以建立连接，因为 master (jobtracker) 可以在 tasktracker 上安排任务。