apache-spark - Apache Spark : How to change the port the Spark driver listens to

Question

我正在尝试以 Yarn 作为主节点以客户端模式运行 Spark 作业，但我遇到了一个特殊问题。日志显示 Yarn ApplicationMaster 正在等待 Spark 驱动程序可访问，然后在一段时间后抛出异常，指出 Yarn ApplicationMaster 无法连接到位于 10.60.18.77:34332 的驱动程序。现在，我知道 IP 可以访问，但端口不能访问，因为防火墙阻止了它。试图让管理员打开一个端口是乏味的。那么有没有办法让 Yarn 应用程序监听另一个端口，比如 20002，我知道它是开放的，而不是 34332？

Answer 1

您可以通过设置 spark.driver.port=20002

例如，在您的 spark-submit 中，您可以使用类似的东西:

$ spark-submit --master yarn-client --conf spark.driver.port=20002 ....