ssh - 通过SSH隧道通过YARN连接到运行的Spark

Question

我有一个Spark安装在远程集群上的YARN下运行，并且我和根节点之间有防火墙。我可以使用ssh隧道访问头节点:

> ssh -N -f -L 10000:remotenode:10000 between_machine

例如，此设置可用于访问在 remotenote上运行的HiveServer2。如果Spark在集群模式下运行，则需要对7077端口执行相同的操作，并使用以下命令将 pyspark客户端定向到 localhost:

> ssh -N -f -L 7077:remotenode:7077 between_machine
> ./pyspark --master spark://localhost:7077

如何在YARN调度程序下运行Spark？

Answer 1

如果您正在寻找要连接的端口，这是doc的引用:

You can access this interface by simply opening http://:4040 in a web browser. If multiple SparkContexts are running on the same host, they will bind to successive ports beginning with 4040 (4041, 4042, etc).

如果您只是想通过ssh“隧道”到达主机的更通用方法，则可以尝试使用ssh作为socks代理:

ssh user@host -D 20000

然后将浏览器配置为通过 socks 代理(主机-本地主机，端口-20000)进行连接。