hive - Hive 元存储和名称节点在集群中起什么作用？

Question

在安装了Hive的集群中，metastore和namenode有什么？我了解 Metastore 拥有所有表架构、分区详细信息和元数据。现在这个元数据是什么？那么namenode有什么呢？这个元存储在集群中的什么位置？

Answer 1

NameNode 保存文件系统中所有文件的目录树，并跟踪文件数据在集群中的保存位置。它还通过心跳机制跟踪所有DataNode(Dead+Live)。它还通过接收请求并将其重定向到适当的 DataNode 来帮助客户端进行读/写。

元存储存储的元数据包含以下内容:

数据库ID

表的ID

索引ID

索引创建时间

表的创建时间

分配给特定用户的角色 ID

用于表的InputFormat

用于表等的输出格式

这是您想知道的吗？

并且集群本身并不强制具有元存储。任何具有 JDBC 兼容数据库的机器(集群内部或外部)都可以用于元存储。

HTH

P.S:您可能会找到 E/R diagram元存储很有用。