hadoop - 在EC2上安装hadoop

Question

我正在尝试通过https://dzone.com/articles/how-set-multi-node-hadoop在EC2中安装多节点集群

一切似乎都有效:
我有一个名称节点和一个数据节点，并且正在运行以下进程:

namenode:1389 NameNode，1687 JobTracker，1590 SecondaryNameNode
数据节点:1415 TaskTracker，1286数据节点

我可以从“ec2-XX-XXX-XXX-XXX.compute-1.amazonaws.com:50070/dfshealth.jsp”检查namenode状态，然后检查Jobtracker状态:“ec2-XX-XXX-XXX-XXX.compute- 1.amazonaws.com:50030/jobtracker.jsp“

当我尝试检查“ec2-XXX-XX-XXX-XXX-X.compute-1.amazonaws.com:50060/tasktracker.jsp”中的TaskTracker状态时，出现了问题，因为我收到消息“该页面不可用”。

我也尝试过执行mapreduce工作:

hadoop jar hadoop-examples-1.2.1.jar pi 10 1000000

但我收到一个错误:

“文件/ user / ubuntu / PiEstimator_TMP_3_141592654 / in / part0只能复制到0个节点，而不是1个”

有人可以帮我吗？

谢谢

Answer 1

您是否尝试过将安全组中的入站流量设置为接受端口50070、50030和50060？

hadoop命令期望一个名为“hadoop-examples-1.2.1.jar”的jar任务。检查您是否有一个示例jar文件供hadoop运行。您可以从“http://www.java2s.com/Code/Jar/h/Downloadhadoopexamples121jar.htm”下载jar文件。