apache-spark - Spark 物理计划和逻辑计划

Question

我有两个问题:

1. 在不添加任何额外代码来为提交的 spark 作业打印逻辑和物理计划的情况下，有没有办法查看集群上运行的 spark 作业的物理和逻辑计划。

   <

2. 有没有办法为集群上运行的 spark 作业动态修改执行计划以获得更好的性能。

请分享您的想法。

提前致谢。

Answer 1

1. body 都好

   val df: DataFrame  = ???
   
   df.queryExecution.executedPlan
   

   并且可以使用queryExecution 属性访问逻辑计划。

   df.queryExecution.logical
   

2. 是的，您可以实现自己的优化器规则。此功能通常没有正式记录，但有一些外部资源可用:

   • Learn the extension points in Apache Spark and extend the Spark Catalyst Optimizer