apache-spark - SparkUI for pyspark - 每个阶段对应的代码行？

Question

我在 AWS 集群上运行了一些 pyspark 程序。我正在通过 Spark UI 监控作业(见附件)。但是，我注意到，不像scala或者Java spark程序，会显示每个Stage对应哪一行代码，我在pyspark代码中找不到哪个Stage对应哪一行代码。

有没有办法找出哪个阶段对应于 pyspark 代码的哪一行？

谢谢!

Answer 1

Is there a way I can figure out which Stage is corresponding to which line of the pyspark code?

是的。 Spark UI 提供从 Python 代码中的 PySpark 操作调用的 Scala 方法。配备 PySpark codebase ，您可以轻松识别调用 PySpark 方法。在您的示例中， cache不言自明，可以快速搜索 javaToPython表明它是由 PySpark 调用的 DataFrame.rdd 方法。