apache-spark - Spark阶段DAG可视化UI中的蓝色 block 是什么意思？

Question

在下面的应用程序 UI 片段中，每个阶段中的蓝色 block 代表什么？

“Exchange”和“WholeStageCodeGen”等是什么意思？

在哪里可以找到资源来解释 Spark 在这里所做的事情？

非常感谢

Answer 1

每个蓝色框是 Apache Spark 作业的步骤。

您询问的是 WholeStageCodegen 这个东西是:

Whole-Stage Code Generation (aka WholeStageCodegen or WholeStageCodegenExec) fuses multiple operators (as a subtree of plans that support codegen) together into a single Java function that is aimed at improving execution performance. It collapses a query into a single optimized function that eliminates virtual function calls and leverages CPU registers for intermediate data.

您可以在此处查看详细信息SPARK-12795

交换更详细的意思是作业之间的Shuffle交换:

ShuffleExchange is a unary physical operator. It corresponds to Repartition (with shuffle enabled) and RepartitionByExpression logical operators (as translated in BasicOperators strategy).

您可以使用 explain command 在代码中获取所有这些信息。

每个步骤都会向您显示数据框将要执行的操作，这有助于确定您的逻辑是否正确。如果您想了解有关 Spark UI 的更多详细信息，我建议您查看 this Spark 峰会的演示并阅读 this关于执行计划的文章。

这些信息将让您更多地了解您的疑问。