hadoop - derby 中的 hive metastore 与 hive/warehouse 中的 hive metastore 有什么区别？

Question

这可能是一个非常基本的问题，所以请原谅我的无知。

我知道 hive 将在开箱即用(hive tar.bin 提取)vanilla 设置中使用两个元存储。就我而言，我有配置单元 0.14。

derby 数据库中有一个 -- 在 hdfs 之外有一个名为 metastore_db 的默认文件夹名称。

还有一个在/user/hive/warehouse 的 hdfs 中。

这两者有什么区别？

Answer 1

在 Hive 中，Metastore 由 (1) 元存储服务和 (2) 数据库组成。

Metastore DB - 是任何符合 JDBC 标准的 RDBMS 数据库，它在其中存储 managed and external tables 的模式和分区详细信息.其他应用程序(如 Impala)可以使用它来从中获取表和模式详细信息。顾名思义，它只存储元数据。

Metastore 服务 - Hive 还运行一个名为 Metastore 服务的单独服务来管理 Metastore 数据，例如将 Hive 表和分区的元数据存储在 Metastore 数据库中，并提供客户端(包括 Hive)访问通过 Metastore 服务 API 获取此信息。

Warehouse - Hive 数据存储在 HDFS 中，通常位于/user/hive/warehouse 下(或您在 hive-site.xml 中指定为 hive.metastore.warehouse.dir 的任何路径)。