apache-spark - 如何在 SparkContext 类中使用 getOrCreate() 方法以及我们从该方法中实现的功能到底是什么

Question

SparkContext 类 中的getOrCreate() 方法有什么用，我该如何使用它？我没有为此找到任何合适的示例(编码方式)。

我的理解是，使用上述方法我可以在应用程序之间共享 spark 上下文。这里的应用程序是什么意思？应用程序是提交给 spark 集群的不同作业吗？如果是这样，那么我们应该能够将在一个应用程序中注册的全局变量(广播)和临时表用于另一个应用程序？

如果有人可以对此进行详细说明并给出合适的示例。

Answer 1

在 Javadoc for SparkContext 中给出, getOrCreate() 在应用程序可能希望共享 SparkContext 时很有用。所以是的，您可以使用它在应用程序之间共享一个 SparkContext 对象。是的，您可以重复使用广播变量和临时表。

关于Spark应用的理解，请引用这个link .简而言之，应用程序是 Spark 中最高级别的计算单元。而你提交给 spark 集群的不是作业，而是应用程序。在 Spark 应用程序中调用一个 Action 会触发一个作业的启动来完成它。