apache-spark - Google Dataproc 上的 Spark UI 在哪里？

Question

我应该使用哪个端口来访问 Google Dataproc 上的 Spark UI？

我尝试了端口 4040 和 7077 以及使用 netstat -pln 发现的其他一些端口

防火墙配置正确。

Answer 1

Dataproc 在 YARN 之上运行 Spark，因此您不会找到典型的“Spark Standalone”端口；相反，在运行 Spark 作业时，您可以访问端口 8088这将显示 YARN ResourceManager 的主页。任何正在运行的 Spark 作业都可以通过 Application Master 访问。那个页面上的链接。 Spark Application Master 的页面看起来与您通常会在端口 8080 上为默认 Spark 设置找到的熟悉的 Spark 独立登录页面相同。

由于工作人员通过内部网络 checkin ，YARN 的链接将使用集群内部主机名(主机名应包含您的 Dataproc 集群名称作为前缀)，但这意味着如果您从外部网络访问，链接可能不起作用首先;如果您使用基于防火墙的方法，则必须用外部 IP 地址替换主机名。

更简单的体验是使用 SOCKS 代理方法，如下所述:https://cloud.google.com/dataproc/cluster-web-interfaces

在这种情况下，只需使用 gcloud compute ssh运行一个轻量级的本地socks代理，然后打开一个指向它的浏览器，你可以像往常一样点击所有的YARN链接。