apache-spark - 是否可以从不同的 SparkSession 访问 DataFrame？

Question

我可以从不同的 SparkSession 访问一个 DataFrame 吗？

Answer 1

tl;dr 不，不可能在 SparkSessions 之间共享 DataFrame。

DataFrame 存在于定义其可见性的单个 SparkSession 中(就像 SparkContext 中的 RDD)范围。拥有的 SparkSession 成为 DataFrame 的组成部分，您可以在 Dataset type constructor 的定义中看到它:

class Dataset[T] private[sql](
    @transient val sparkSession: SparkSession,   // <-- here
    @DeveloperApi @InterfaceStability.Unstable @transient val queryExecution: QueryExecution,
    encoder: Encoder[T])
  extends Serializable {

您可以使用sparkSession 属性访问DataFrame 所属的SparkSession:

scala> val df = Seq(1,2,3).toDF("id")
df: org.apache.spark.sql.DataFrame = [id: int]

scala> df.sparkSession
res0: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@4832813d

scala> df.sparkSession == spark
res1: Boolean = true