apache-spark - createOrReplaceTempView 在 Spark 中是如何工作的？

Question

我是 Spark 和 Spark SQL 的新手。

怎么样createOrReplaceTempView在 Spark 工作？

如果我们注册一个 RDD对象作为表将 Spark 保留在内存中的所有数据？

Answer 1

createOrReplaceTempView创建(或替换，如果该 View 名称已经存在)一个懒惰评估的“ View ”，然后您可以像 Spark SQL 中的配置单元表一样使用它。除非您缓存支持 View 的数据集，否则它不会持久保存到内存中。

scala> val s = Seq(1,2,3).toDF("num")
s: org.apache.spark.sql.DataFrame = [num: int]

scala> s.createOrReplaceTempView("nums")

scala> spark.table("nums")
res22: org.apache.spark.sql.DataFrame = [num: int]

scala> spark.table("nums").cache
res23: org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] = [num: int]

scala> spark.table("nums").count
res24: Long = 3

只有在 .count 之后才完全缓存数据称呼。这是它已被缓存的证据:



相关SO: spark createOrReplaceTempView vs createGlobalTempView

相关引用(与持久表相比):“与 createOrReplaceTempView 命令不同，saveAsTable 将具体化 DataFrame 的内容并创建一个指向 Hive 元存储中数据的指针。”来自 https://spark.apache.org/docs/latest/sql-programming-guide.html#saving-to-persistent-tables

注: createOrReplaceTempView原 registerTempTable