apache-spark - SparkSession.catalog 和 SparkSession.sessionState.catalog 有什么区别？

Question

我正在学习 Spark，对 Spark 的目录感到困惑。

我在SparkSession中找到了一个catalog，它是CatalogImpl的一个实例，如下

  /**
   * Interface through which the user may create, drop, alter or query underlying
   * databases, tables, functions etc.
   *
   * @since 2.0.0
   */
  @transient lazy val catalog: Catalog = new CatalogImpl(self)

而且我发现在SparkSession.sessionSate中有一个catalog，它是SessionCatalog的一个实例。

它们有什么区别？

Answer 1

What's the difference between them?

tl;dr 无。

---

line CatalogImpl 是您理解中缺失的部分:

private def sessionCatalog: SessionCatalog = sparkSession.sessionState.catalog

换句话说，SparkSession.catalog creates在幕后使用 sparkSession.sessionState.catalog 的 CatalogImpl。