apache-spark - Spark DataFrame 与 sqlContext

Question

为了进行比较，假设我们有一个表“T”，其中包含两列“A”、“B”。我们还有一个在一些 HDFS 数据库中运行的 hiveContext。我们制作一个数据框:

理论上，以下哪个更快:

sqlContext.sql("SELECT A,SUM(B) FROM T GROUP BY A")

或

df.groupBy("A").sum("B")

其中“df”是指 T 的数据帧。对于这些简单类型的聚合操作，有什么理由让人们更喜欢一种方法而不是另一种？

Answer 1

不，这些应该归结为相同的执行计划。 Spark SQL 引擎下面使用相同的优化引擎，即催化剂优化器。您始终可以通过查看 spark UI 自己检查这一点，甚至在生成的 DataFrame 上调用 explain。