hadoop - Amazon EMR Application Master Web UI？

Question

我已经开始使用 Hadoop YARN (AMI 3.3.1) 在 Amazon EMR 上运行 PIG 作业，但是由于 Yarn 中不再有作业跟踪器，我似乎无法找到 Web UI 以便我可以跟踪 MapReduce 作业的 Mappers 和 Reducers 的数量，当我尝试访问资源管理器 UI 页面中提供的 Application Master 链接时，我被告知该页面不存在(下面提供的图片)。

有谁知道我如何通过我的网络浏览器访问一个 UI，它会根据映射器、reducer 的数量和每个完成的百分比等向我显示当前的工作状态？

谢谢

Answer 1

从 ResourceManager 网页单击 ApplicationMaster 链接后，您将被重定向到 ApplicationMaster web ui；因为 EMR 使用 EC2 实例，每个 EC2 实例都有 2 个与之关联的 IP 地址，一个用于私有(private)通信，另一个用于公共(public)通信。 EMR 使用私有(private) IP 地址(私有(private) DNS)来设置 hadoop 因此，您将被重定向到这样的 url:

http://10.204.137.136:9046/proxy/application_1423027388806_0003/

您可以看到它指向实例的私有(private) ip 地址，因此您的浏览器无法解析该 ip 地址，您只需将私有(private) ip 地址替换为该实例的公共(public) ip 地址(或公共(public) dns 名称):

获取实例公网ip

1. 使用 EC2 网络界面

   您可以登录到 AWS EC2 控制台并找到实例的 ip 地址

   

2. 使用控制台:

   如果您登录到该实例并想知道它的公共(public) ip 地址，请发出以下命令，它将返回该实例的公共(public) ip 地址。

   curl http://169.254.169.254/latest/meta-data/public-ipv4
   

也看看这个AWS documentation page on how to view web interfaces它提供了其他选项，例如设置 SSH 隧道和使用 SOCKS 代理。