apache-spark - 简单来说，Spark 是如何调度作业的？

Question

只是想知道 Spark 是如何安排作业的？请用简单的话来说，我已经阅读了很多关于它是如何做到的描述，但是它们太复杂而无法理解。

Answer 1

在高层次上，当在 RDD 上调用任何操作时，Spark 会创建 DAG 并提交给 DAG 调度程序。

DAG 调度器将算子划分为任务的阶段。一个阶段由基于输入数据分区的任务组成。 DAG 调度程序将运算符(operator)流水线化在一起。例如许多 map 运算符(operator)可以安排在一个阶段。 DAG 调度器的最终结果是一组阶段。

阶段被传递给任务调度器。任务调度器通过集群管理器启动任务。(Spark Standalone/Yarn/Mesos)。任务调度程序不知道阶段的依赖关系。

Worker 在 Slave 上执行任务。

看 this answer了解更多信息