hadoop - spark 的 HiveContext 内部是如何工作的？

Question

我是 Spark 的新手。我发现使用 HiveContext 我们可以连接到 hive 并运行 HiveQL。我运行它并且成功了。

我怀疑Spark是不是通过spark jobs来实现的，也就是说，它使用HiveContext只是为了从HDFS访问对应的hive表文件

或者

它内部调用hive来执行查询？

Answer 1

不，Spark 不会调用配置单元来执行查询。 Spark 仅从 hive 中读取元数据并在 Spark 引擎中执行查询。 Spark 拥有自己的 SQL 执行引擎，其中包括催化剂、钨等组件，以优化查询并提供更快的结果。它使用来自 Hive 的元数据和 Spark 的执行引擎来运行查询。

Hive 的最大优势之一是它的 Metastore。它充当 hadoop 生态系统中许多组件的单个元存储。

针对您的问题，当您使用 HiveContext 时，它将访问 Metastore 数据库和您所有的 Hive 元数据，这可以清楚地说明您拥有什么类型的数据，数据在哪里，序列化和反序列化，压缩编解码器、列、数据类型以及关于表及其数据的每个细节。这足以让 Spark 理解数据。

总的来说，Spark 只需要 Metastore，它提供了底层数据的完整细节，一旦它有了元数据，它就会通过它的执行引擎执行你要求的查询。 Hive 比 Spark 慢，因为它使用 MapReduce。因此，返回 hive 并要求在 hive 中运行它是没有意义的。

如果它回答了你的问题，请告诉我。