gpt4 book ai didi

hadoop - 如何从配置单元外部表创建数据框

转载 作者:可可西里 更新时间:2023-11-01 16:22:29 26 4
gpt4 key购买 nike

我们喜欢在 Hive 外部表之上创建数据框,并使用 Hive 模式和数据在 spark 级别进行计算。

我们能否从 Hive 外部表中获取架构并将其用作 Dataframe 架构。

最佳答案

hive-metastore 知道您的表的架构并将此信息传递给 spark。表是否为外部表并不重要:

val df = sqlContext.table(tablename)

其中 sqlContextHiveContext 类型。您可以使用

验证您的架构
df.printSchema

关于hadoop - 如何从配置单元外部表创建数据框,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43914216/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com