gpt4 book ai didi

apache-spark - spark HiveContext/SQLContext 如何检索模式/数据?

转载 作者:行者123 更新时间:2023-12-04 04:20:33 25 4
gpt4 key购买 nike

我似乎找不到太多关于它的文档,但是当我在 Spark SQL 中从 Hive 中提取数据时,它是如何检索模式的,它会自动在 Hive Metastore 中查找吗? Hive 是否也告诉 spark 查看文件位置以将数据拉入 DataFrame?它如何处理一个 View ,或者它不能处理一个 View 吗?

最佳答案

  1. 是的,它会查找 Hive Metastore。
  2. Spark 将 Hive 查询委托(delegate)给 Hive。它捕获输出并将其转换为行数据框。来自文档:

When working with Hive one must construct a HiveContext, which inherits from SQLContext, and adds support for finding tables in the MetaStore and writing queries using HiveQL

关于apache-spark - spark HiveContext/SQLContext 如何检索模式/数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30629198/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com