apache-spark - registerTempTable是否导致表被缓存？

Question

我有一个sql语句查询，它在许多字段上进行分组。它使用的表也很大(大小为4TB)。我正在将该表注册为临时表。但是，当我将其注册为临时表时，我不知道该表是否被缓存了？我也不知道是否将查询转换为Scala函数(例如df.groupby()。aggr()...)而不是将其作为sql语句来提高性能。有什么帮助吗？

Answer 1

SQL很可能是迄今为止最快的Databricks blog

您是否也尝试过对数据框进行分区/重新分区，以查看它是否可以提高性能？

关于registerTempTable:它仅在spark上下文内注册表。您可以使用用户界面进行检查。

val test = List((1,2,3),(4,5,6)).toDF("bla","blb","blc")
test.createOrReplaceTempView("test")
test.show()

储存空间为空

与

val test = List((1,2,3),(4,5,6)).toDF("bla","blb","blc")
test.createOrReplaceTempView("test").cache()
test.show()

顺便说一下，在Spark 2.0中已弃用registerTempTable，并已将其替换为

createOrReplaceTempView