apache-spark - spark createOrReplaceTempView 与 createGlobalTempView

Question

Spark Dataset 2.0 提供两个函数 createOrReplaceTempView和 createGlobalTempView .我无法理解这两个功能之间的基本区别。

根据 API documents :

createOrReplaceTempView : 这一生
临时 View 与用于创建此数据集的 [[SparkSession]] 相关联。
所以，当我调用 sparkSession.close()定义的将被销毁。这是真的吗？

createGlobalTempView :这个临时 View 的生命周期与这个 Spark 应用程序相关。

这种类型的 View 什么时候会被销毁？任何例子。像 sparkSession.close()？

Answer 1

df.createOrReplaceTempView("tempViewName")
df.createGlobalTempView("tempViewName")

createOrReplaceTempView()使用此数据帧 df 创建或替换本地临时 View 。此 View 的生命周期取决于 SparkSession类，您是否要删除此 View :

spark.catalog.dropTempView("tempViewName")

或 stop()将关闭 session

self.ss = SparkSession(sc)
...
self.ss.stop()

createGlobalTempView()使用此数据框 df 创建一个全局临时 View 。此 View 的生命周期取决于 Spark 应用程序本身。
如果你想放弃:

spark.catalog.dropGlobalTempView("tempViewName")

或 stop()将关闭

ss =  SparkContext(conf=conf, ......)
...
ss.stop()