apache-spark - 执行者在 Spark 主机上的角色

Question

在 Spark 独立集群中，主节点是否也运行任务？我不确定是否有 Executors 进程在主节点上启动并与工作节点一起工作。

谢谢!

Answer 1

Executors 只会在该节点上至少有一个 worker 守护进程的节点上启动，即没有 executor 会在不作为 Worker 的节点上启动。

但是，Master和Worker从哪里开始都是由你决定的，没有Master和Worker不能共处同一个节点的限制。

要在与您的主机相同的机器上启动一个工作守护进程，您可以编辑 conf/slaves文件以在其中添加主 ip 并在启动时使用 start-all.sh 或在主节点上随时启动工作程序，start-slave.sh并提供 Spark 主 URL --master spark://master-host:7077

更新 (根据 Daniel Darabos 的建议):

当引用 Application Detail UI 时的 Executors选项卡，您还可以找到一行有 <driver>为其Executor ID ，它表示的驱动程序是计划和监视您的作业的进程，它正在运行 main您提交给 spark 集群的程序，将您对 RDD 的转换和操作分成阶段，将阶段安排为 TaskSets 并安排 executors运行任务。

这<driver>将在您称为 spark-submit 的节点上启动在 client mode ，或在 cluster mode 中的一个工作节点上