scala - 如何从现有的 SparkContext 创建 SparkSession

Question

我有一个 Spark 应用程序，它使用带有 SparkSession 的 Spark 2.0 新 API .
我正在使用 SparkContext 的另一个应用程序之上构建此应用程序.我想通过SparkContext到我的应用程序并初始化SparkSession使用现有的 SparkContext .

但是我找不到如何做到这一点的方法。我发现 SparkSession SparkContext 的构造函数是私有(private)的，所以我不能以这种方式初始化它，并且构建器不提供任何 setSparkContext方法。您认为存在一些解决方法吗？

Answer 1

导出 SparkSession SparkContext 中的对象甚至SparkConf简单。只是您可能会发现 API 有点复杂。这是一个示例(我使用的是 Spark 2.4，但这也适用于较旧的 2.x 版本):

// If you already have SparkContext stored in `sc`
val spark = SparkSession.builder.config(sc.getConf).getOrCreate()

// Another example which builds a SparkConf, SparkContext and SparkSession
val conf = new SparkConf().setAppName("spark-test").setMaster("local[2]")
val sc = new SparkContext(conf)
val spark = SparkSession.builder.config(sc.getConf).getOrCreate()

希望有帮助!