apache-spark - Spark中的应用、工作、阶段、任务是什么概念？

Question

我的理解对吗？

1. 应用:一 Spark 提交。

2. 工作:一旦发生惰性评估，就有工作了。

3. 阶段:它与shuffle和变换类型有关。我很难理解舞台的界限。

4. 任务:是单元操作。每个任务一次转换。每个转换一项任务。

帮助想要提高这种理解。

Answer 1

主要功能是应用程序。

当您在 RDD 上调用操作时，就会创建一个“作业”。作业是提交给 Spark 的工作。

作业根据洗牌边界分为“阶段”。 This可以帮助你理解。

每个阶段根据 RDD 中的分区数量进一步划分为任务。因此任务是 Spark 的最小工作单元。