apache-spark - 驱动进程能否运行在Spark集群之外？

Question

我阅读了来自 What conditions should cluster deploy mode be used instead of client? 的答案,

(In client mode) You could run spark-submit on your laptop, and the Driver Program would run on your laptop.

另外，Spark 文档说，

In client mode, the driver is launched in the same process as the client that submits the application.

这是否意味着我可以从任何机器提交 spark 任务，只要它可以从 master 访问并且具有 Spark 环境？

或者换句话说，驱动进程是否可以运行在Spark集群之外？

Answer 1

是的，驱动程序可以在您的笔记本电脑上运行。不过请记住:

• Spark 驱动程序需要 Hadoop 配置才能与 YARN 和 HDFS 通信。您可以从集群中复制它并通过 HADOOP_CONF_DIR 指向它。
• Spark 驱动程序将监听大量端口并期望执行程序能够连接到它。它会公布您笔记本电脑的主机名。确保它可以被解析，并且所有端口都可以从集群环境访问。