hadoop - 如何在 Hive 中使用使用 Apache Drill 创建的 Parquet 文件

Question

Apache Drill 有一个很好的功能，可以从许多传入的数据集中制作 parquet 文件，但似乎没有很多关于以后如何使用这些 parquet 文件的信息——特别是在 Hive 中。

Hive 有没有办法利用那些“1_0_0.parquet”等文件？也许创建一个表并从 parquet 文件加载数据，或者创建一个表并以某种方式将这些 parquet 文件放入 hdfs 以便 Hive 读取它？

Answer 1

我遇到过这个问题，如果您使用的是 Cloudera 发行版，则可以使用 impala 创建表(Impala 和 Hive 共享 metastore)，它允许从 parquet 文件创建表。不幸的是 Hive 不允许这样做

CREATE EXTERNAL TABLE table_from_fileLIKE PARQUET     '/user/etl/destination/datafile1.parquet'
STORED AS PARQUET
LOCATION '/user/test/destination';