hadoop - 从 Hadoop Job Tracker Web 界面访问 EMR 任务日志

Question

我已经为我的主/从节点打开了 EC2 安全组，这样我就可以从我的本地浏览器访问作业跟踪器界面。我使用 http://MASTER-IP:9100 连接到它。

一切正常，直到我尝试从任务详细信息访问任务跟踪器日志 - http://ec2-xx-xx-xx-xx.compute-1.amazonaws.com:9100/taskdetails.jsp ?tipid=task_201212181113_0001_m_000000

我得到的链接指向内部 EC2 IP 地址，因此我无法从我的本地计算机访问它们(链接为 http://10.116.xxx.xx:9103/tasklog?attemptid=attempt_201212181113_0001_m_000000_0&all=true )

有没有办法更改 EMR，使这些链接包含任务跟踪器的公共(public) IP？

谢谢!

Answer 1

您可以非常轻松地通过 ssh 连接到主节点，然后从那里您可以通过 curl 连接到该日志位置。通常我们总是隧道到主节点并通过 http://localhost:9100

访问 Job tracker web iterface

为了建立隧道，您可以执行以下操作:

ssh -i your-pem-file.pem -L 9100:ec2-xx-xx-xx-xx.computamazonaws.com:9100 hadoop@ec2-xx-xx-xx-xx.compute-1.amazonaws.com

然后通过简单的 curl 访问日志，例如:

$ curl http://10.116.xxx.xx:9103/tasklog?attemptid=attempt_201212181113_0001_m_000000_0&all=true

您还可以登录到您的 aws 控制台，并在那里查找正在运行的 ec2 实例列表。从那里您可以获得所需机器日志的私有(private) IP 和相应的公共(public) IP，然后您可以在日志的 URL 中用这个检索到的公共(public) IP 替换私有(private) IP，一切顺利。

但第一个解决方案非常简单，也是我们通常所做的。