gpt4 book ai didi

hadoop - 我们可以直接将 Parquet 文件加载到 Hive 中吗?

转载 作者:可可西里 更新时间:2023-11-01 14:09:24 31 4
gpt4 key购买 nike

我知道我们可以使用 Spark SQL 和 Impala 加载 parquet 文件,但想知道我们是否可以使用 Hive 做同样的事情。我已经阅读了很多文章,但我仍然感到困惑。

简单地说,我有一个 parquet 文件 - 比如 users.parquet。现在我对如何从 users.parquet 加载/插入/导入数据到配置单元(显然是到表中)感到震惊。

如果我遗漏了一些明显的东西,请告诉我或指出正确的方向。

Creating hive table using parquet file metadata

https://phdata.io/examples-using-textfile-and-parquet-with-hive-and-impala/

最佳答案

使用 parquet 工具获取 parquet 文件的架构,有关详细信息,请查看链接 http://kitesdk.org/docs/0.17.1/labs/4-using-parquet-tools-solution.html

并使用文件顶部的架构构建表,有关详细信息,请查看 Create Hive table to read parquet files from parquet/avro schema

关于hadoop - 我们可以直接将 Parquet 文件加载到 Hive 中吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34303371/

31 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com