gpt4 book ai didi

apache-spark - 如何在spark中读取orc事务hive表?

转载 作者:行者123 更新时间:2023-12-02 01:01:27 25 4
gpt4 key购买 nike

如何在spark中读取orc事务hive表?
我在通过 spark 读取 ORC 事务表时遇到问题我获得了 hive 表的架构但无法读取实际数据
查看完整场景:

hive> create table default.Hello(id int,name string) clustered by
(id) into 2 buckets STORED AS ORC TBLPROPERTIES
('transactional'='true');

hive> insert into default.hello values(10,'abc');
现在我试图从 Spark sql 访问 Hive Orc 数据,但它显示
只有模式
>spark.sql("select * from  hello").show()  
输出:id,名称

最佳答案

是的,作为一种解决方法,我们可以使用压缩,但是当工作是微批处理时,压缩将无济于事。所以我决定使用 JDBC 调用。请在下面的链接中引用我对此问题的回答或引用我的 GIT 页面 - https://github.com/Gowthamsb12/Spark/blob/master/Spark_ACID

Please refer my answer for this issue

关于apache-spark - 如何在spark中读取orc事务hive表?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50254590/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com