scala - 连接到独立 Spark 上的远程主机

Question

我通过以下步骤在远程服务器上以独立模式启动 Spark:

cp spark-env.sh.template spark-env.sh

附加到 spark-env.sh SPARK_MASTER_HOST=IP_OF_MY_REMOTE_SERVER

并为独立模式运行下一个命令:sbin/start-master.sh sbin/start-slave.sh spark://IP_OF_MY_REMOTE_SERVER:7077

我尝试连接到远程主站:

val spark = SparkSession.builder()
  .appName("SparkSample")
  .master("spark://IP_OF_MY_REMOTE_SERVER:7077")
  .getOrCreate()

我收到以下错误:

ERROR SparkContext: Error initializing SparkContext.
java.net.BindException: Cannot assign requested address: Service 'sparkDriver' failed after 16 retries!

和警告:

    WARN Utils: Service 'sparkMaster' could not bind on port 7077. Attempting port 7078.
.....
    WARN Utils: Service 'sparkMaster' could not bind on port 7092. Attempting port 7092.

Answer 1

我建议不要使用端口开放策略远程提交 Spark 作业，因为它会产生安全问题，而且根据我的经验，这比它值得的麻烦更多，尤其是由于必须对通信层进行故障排除。

备择方案:

1) Livy - 现在是一个 Apache 项目! http://livy.io或 http://livy.incubator.apache.org/

2) Spark 作业服务器 - https://github.com/spark-jobserver/spark-jobserver

类似问答:Submitting jobs to Spark EC2 cluster remotely

如果您坚持不使用 Livy 之类的库进行连接，则需要打开端口以确保通信。 Spark 网络通信文档:http://spark.apache.org/docs/latest/security.html#configuring-ports-for-network-security

由于您没有使用 YARN(根据您的独立设计)，之前指向 YARN 远程提交的链接可能不相关。