apache-spark - 我可以动态更改 SparkContext.appName 吗？

Question

我知道我可以使用 SparkConf.set('spark.app.name',...) 设置 appName在创建 SparkContext 之前.

但是，我想随着应用程序的进行更改名称，即在 SparkContext 之后已经被创造了。

唉，设置sc.appName不改变作业的显示方式 yarn application -list .

有办法吗？

Answer 1

这是不可能的:对 sparkConf 的任何更新，包括 spark.app.name , 仅在 SparkConf 的实例用于实例化 SparkContext 之前考虑:

Note that once a SparkConf object is passed to Spark, it is cloned and can no longer be modified by the user. Spark does not support modifying the configuration at runtime.

https://spark.apache.org/docs/1.3.1/api/scala/index.html#org.apache.spark.SparkConf