apache-spark - spark-shell 和 spark-sql 有什么区别？任何性能差异？

Question

Spark-shell : 这基本上打开了scala>迅速的。查询需要按以下方式编写的地方

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
// Queries are expressed in HiveQL
sqlContext.sql("FROM src SELECT key, value").collect().foreach(println)

spark-sql : 这似乎直接连接到 hive 元存储，我们可以用与 hive 类似的方式编写查询。并查询 hive 中的现有数据
我想知道这两者之间的区别.. 并处理 中的任何查询 Spark SQL 与 中的相同 Spark 壳 ?我的意思是我们可以在 中利用 spark 的性能优势吗？ Spark SQL ?
Spark 1.5.2 在这里。

Answer 1

spark-shell为您提供一个工作的 Spark 环境，其中 Scala 是(编程)语言。
spark-sql为您提供一个 Spark SQL 环境，其中 SQL 是查询语言。

请注意 spark-shell用于 Spark 中可用的任何 API，而 spark-sql仅适用于 Spark SQL API(带有数据集和数据帧)。

它们只是针对具有不同技能的用户的不同界面(spark-shell 用于 Spark/Scala 开发人员，而 spark-sql 用于 SQL 开发人员)。
spark-sql将 Spark 基础设施“隐藏”在 SQL 接口(interface)后面，这使得一个人应该具备多少工程技能，但最终会使用 Spark SQL(以及一般的 Spark)中可用的所有优化。

性能方面 spark-sql和 spark-shell是一样的。