apache-spark - 如何向 Spark 作业添加自定义描述以在 Spark Web UI 中显示

Question

当我们向 Spark 提交应用程序并执行任何操作后，Spark Web UI 会显示作业和阶段，例如 count at MyJob.scala:15。但在我的应用程序中，有多个 count 和 save 操作。所以理解UI是非常困难的。我们可以添加自定义描述来为作业提供更详细的信息，而不是 count at MyJob.scala:15。

谷歌搜索发现https://issues.apache.org/jira/browse/SPARK-3468和 https://github.com/apache/spark/pull/2342 ，作者附image ，包含“计数”、“缓存和计数”、“有延迟的作业”等详细描述。那么我们能实现同样的目标吗？我使用的是 Spark 2.0.0。

Answer 1

使用sc.setJobGroup :

示例:
python :

In [28]: sc.setJobGroup("my job group id", "job description goes here")
In [29]: lines = sc.parallelize([1,2,3,4])
In [30]: lines.count()
Out[30]: 4

斯卡拉:

scala> sc.setJobGroup("my job group id", "job description goes here")
scala> val lines = sc.parallelize(List(1,2,3,4))
scala> lines.count()
res3: Long = 4

SparkUI:

我希望这就是您正在寻找的内容。