hadoop - 如果工作节点上未安装 Spark(在 YARN 上)，如何启动 Spark Executors？

Question

我有一个关于以集群模式在 YARN 上运行的 Apache Spark 的问题。根据this thread , Spark 本身不必安装在集群中的每个(工作)节点上。我的问题出在 Spark Executors 上:一般来说，YARN 或者资源管理器应该决定资源分配。因此，Spark Executors 可以在集群中的任何(工作)节点上随机启动。但是，如果没有在任何(工作)节点上安装 Spark，YARN 如何启动 Spark Executors？

Answer 1

在高层次上，当 Spark 应用程序在 YARN 上启动时，

1. Application Master(Spark 特定)将在其中一个 YARN 容器中创建。
2. 用于 Spark worker(执行器)的其他 YARN 容器

Spark驱动程序会将序列化的 Action (代码)传递给执行器以处理数据。

spark-assembly provides spark related jars to run Spark jobs on a YARN cluster and application will have its own functional related jars.

编辑: (2017-01-04)

Spark 2.0 no longer requires a fat assembly jar for production deployment.source