gpt4 book ai didi

hive - hive 在哪里存放 table ?

转载 作者:行者123 更新时间:2023-12-04 12:06:58 24 4
gpt4 key购买 nike

我是Hadoop的新手,我刚开始研究Hive,据我所知,它提供了一种查询语言来处理HDFS中的数据。使用HiveQl,我们可以创建表并将数据从HDFS加载到表中。

所以我的问题是:这些表存储在哪里?具体来说,如果我们的HDFS中有100 GB的文件,并且我们想用该数据创建一个配置单元表,那么该表的大小将如何存储在何处?

如果我对这个概念的理解是错误的,请纠正我..

最佳答案

如果表为100GB,则应考虑配置单元外部表(与“托管表”相对,有关区别,请参见this)。

使用外部表,数据本身仍将存储在您指定的文件路径中的HDFS上(请注意,只要它们具有相同的结构,就可以指定文件目录),但是Hive会为其创建映射在元存储区中,而托管表将数据“存储在Hive中”。

删除托管表时,它会删除基础数据,而不是删除配置单元外部表,后者仅会从元存储中删除引用该数据的元数据。

无论哪种方式,您都只能使用用户查看的100GB,并且可以通过重复数据来利用HDFS的强大功能。

关于hive - hive 在哪里存放 table ?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29277584/

24 4 0