scala - 如何在代码的任何位置获取当前 SparkSession？

Question

我在 main() 中创建了一个 session 函数，像这样:

val sparkSession = SparkSession.builder.master("local[*]").appName("Simple Application").getOrCreate()

现在如果我想配置应用程序或访问属性，我可以使用局部变量 sparkSession在同一个函数中。

如果我想访问这个怎么办 sparkSession同一项目中的其他地方，例如 project/module/.../.../xxx.scala .我该怎么办？

Answer 1

一旦创建了 session (在任何地方)，您就可以安全地使用:

SparkSession.builder.getOrCreate()

只要 session 还活着，就可以在代码中的任何地方获取(相同的) session 。 Spark 维护一个事件 session ，因此除非它停止或崩溃，否则您将获得相同的 session 。
编辑:构建器不可调用，如评论中所述。