scala - 通过 SOCKS 代理连接到 spark

Question

TL;博士 如何通过 SOCKS 代理将本地驱动程序连接到 Spark 集群。

我们有一个现场 Spark 集群，它位于阻止大多数端口的防火墙后面。我们有 ssh 访问权限，所以我可以使用 ssh -D 7777 ... 创建一个 SOCKS 代理.

当我的浏览器使用代理时，它可以很好地浏览 Web-UI，但我不知道如何让本地驱动程序使用它。

到目前为止，我有这个，显然没有配置任何代理:

val sconf = new SparkConf()
  .setMaster("spark://masterserver:7077")
  .setAppName("MySpark")
new SparkContext(sconf)

在抛出异常之前记录这些消息 16 次。

15/01/20 14:43:34 INFO Remoting: Starting remoting
15/01/20 14:43:34 ERROR NettyTransport: failed to bind to server-name/ip.ip.ip.ip:0, shutting down Netty transport
15/01/20 14:43:34 INFO RemoteActorRefProvider$RemotingTerminator: Shutting down remote daemon.
15/01/20 14:43:34 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1.
15/01/20 14:43:34 INFO RemoteActorRefProvider$RemotingTerminator: Remote daemon shut down; proceeding with flushing remote transports.
15/01/20 14:43:34 INFO RemoteActorRefProvider$RemotingTerminator: Remoting shut down.

Answer 1

您最好的选择可能是 将本地端口转发到远程 7077 ，然后 setMaster("spark://localhost:nnnn")其中 nnnn 是您转发的本地端口。

为此，请使用 ssh -L (而不是 -D )。
我不能保证这会起作用，或者如果它起作用，它将继续起作用，但至少它可以让您免于使用此端口的实际代理。可能会破坏它的事情主要是初始连接可能触发的次要连接。我还没有对此进行测试，但除非有辅助连接，否则原则上它应该可以工作。

此外，这不能回答您问题的 TL;DR 版本，但由于您具有 SSH 访问权限，因此更有可能起作用。