scala - 查找当前正在运行的 SparkContext 的名称

Question

我发誓我以前做过，但我找不到代码或答案。我想获取当前正在运行的 SparkContext 的名称并将其读入变量或将其打印到屏幕上。类似于以下内容:

val myContext = SparkContext.getName

例如，如果我在 spark-shell 中运行它，它将返回“sc”。有谁知道如何得到它？

Answer 1

我不太确定我是否遵循...按名称，您是指应用程序的名称吗？如果是这样，你会调用appName .在 spark-shell 中，例如:sc.appName .

如果您要求获取保存上下文的变量的名称，那么我不确定您是否可以。 sc只是用于访问 spark-shell 中的上下文的 val，但您可以在自己的应用程序中将其命名为任何您想要的名称。

[编辑]
有一个getOrCreate SparkContext 上的方法，它可以返回现有的创建和注册的上下文。这会做你想要的吗？

https://spark.apache.org/docs/1.5.1/api/java/org/apache/spark/SparkContext.html#getOrCreate()