hadoop - Hadoop JobTracker UI托管

Question

我们有一个小的Hadoop集群，其中JobTracker配置为动态(从一个节点移动到另一个节点)。我们希望通过通用的WebUI(Hadoop MapReduce Job Tracker)而不是通过命令行更公开地提供数据，日志文件和交互。
实现思想是使hadoop群集中的所有节点都开放其网络端口以进行出站，并为所有节点创建一个通用的DNS别名，因此对JobTracker节点的引用是恒定的。这是最佳做法吗？对安装前端用户可以访问的前端附加组件(如Apache Hue(http://www.gethue.com))也很感兴趣。

我知道可以将JobTracker设为静态，这可以解决此问题，但可能会引入其他问题-但我敢肯定，通过制作专用节点，它消除了集群节点的某些Hadoop预期用途和功能。

感谢您对如何在战略上最佳地为管理员和最终用户部署一致且可访问的URL的任何见解。

Answer 1

Hue支持JT HA，因此您可以列出可能的jobtrackers主机/端口，并且Hue将选择有效的工作跟踪器。

但是，最好的情况是，每次重新配置并重新启动Hue时，都使用新的主机名更新hue.ini。

显然，如果将Cloudera Manager用于重新配置集群，它也会自动更新Hue。