apache-spark - 从作业实际运行位置以外的其他位置访问 Spark Web UI

Question

我有一个包含 1 个主节点 9 个节点的 Spark 集群。我正在独立模式下运行。我无法从集群中的任何节点访问 Web 浏览器(我通过 ssh 连接到节点——它是 grid5000 集群)。我想知道，在这种情况下是否有可能访问 Spark Web UI？我尝试将集群中的日志复制到本地计算机上的 SPARK_PATH/work 中(留下集群中运行的作业是在本地计算机上运行的印象)。这个想法是在阅读文档中的这一部分后产生的:

如果应用程序在其生命周期内记录了事件，则独立主站的 Web UI 将在应用程序完成后自动重新呈现应用程序的 UI。

但是没有成功。我在用户界面中看到的是:

Applications: 0 Running, 0 Completed Drivers: 0 Running, 0 Completed Status: ALIVE

谢谢!

Answer 1

您不需要复制任何内容，只需访问主计算机上的端口 8080 或应用程序计算机上的端口 4040(当应用程序运行时)。如果机器无法从外部访问，则必须通过 SSH 建立隧道。

通过 SSH 建立隧道是一个热门话题，只需搜索即可。我个人使用 ssh -D 9999 ，然后使用 Firefox 和 Chrome 都存在的 FoxyProxy 插件将 localhost:9999 设置为代理。