hadoop - Spark 作为 Hive 的引擎

Question

我们可以使用 Spark 作为 Hive 的引擎吗？

我们在 Hive 中有许多遗留系统和代码库，并且希望将 Spark 与 Hive 结合使用。

最好的，

Answer 1

两个选项，如果你想在 spark 上运行 hive，这是可能的，但它是一个非常 alpha 特性:https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started

恕我直言，你最好使用 Spark SQL 和指定的 HiveContext，你可以这样使用:

// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
sqlContext.sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src")

// Queries are expressed in HiveQL
sqlContext.sql("FROM src SELECT key, value").collect().foreach(println)

总而言之，我建议您使用 Spark SQL 加载 Hive 表并重用所有 Hive 查询，但要通过 Spark SQL 的 API。

您可以在这里找到更多信息:http://spark.apache.org/docs/1.2.0/sql-programming-guide.html

这是否回答了您的问题？

问候，