configuration - 如何为严密的防火墙配置 Apache Spark 随机工作端口？

Question

我正在使用 Apache Spark 运行机器学习算法和其他大数据任务。以前，我使用 spark 集群独立模式在同一台机器上运行 spark master 和 worker。现在，我添加了多台工作机器，由于防火墙严密，我必须编辑工作人员的随机端口。任何人都可以帮助如何更改随机 Spark 端口并确切地告诉我需要编辑哪些配置文件？我阅读了 spark 文档，上面写着 spark-defaults.conf应该配置，但我不知道如何配置此文件以特别更改 spark 的随机端口。

Answer 1

更新 用于 Spark 2.x

一些库已经从头开始重写，许多遗留问题 *.port属性现已过时(参见 SPARK-10997/SPARK-20605/SPARK-12588/SPARK-17678/等)

例如，对于 Spark 2.1，驱动程序监听执行程序流量的端口范围是

之间spark.driver.port和 spark.driver.port + spark.port.maxRetries

之间spark.driver.blockManager.port和 spark.driver.blockManager.port + spark.port.maxRetries

并且执行程序将监听驱动程序流量和/或其他执行程序流量的端口范围是

之间spark.blockManager.port和 spark.blockManager.port + spark.port.maxRetries

“maxRetries”属性允许并行运行多个 Spark 作业；如果基本端口已被使用，则新作业将尝试下一个，依此类推，除非整个范围已被使用。

来源:
https://spark.apache.org/docs/2.1.1/configuration.html#networking
https://spark.apache.org/docs/2.1.1/security.html在“配置端口”下