hadoop - hadoop中的hcatalog有什么用？

Question

我是 Hadoop 新手。我知道 HCatalog 是 Hadoop 的表和存储管理层。但它究竟是如何工作的以及如何使用它。请举一些简单的例子。

Answer 1

简而言之，HCatalog 向其他 mapreduce 工具开放了 hive 元数据。每个 mapreduce 工具都有自己关于 HDFS 数据的概念(例如 Pig 将 HDFS 数据视为文件集，Hive 将其视为表)。通过基于表的抽象，HCatalog 支持的 mapreduce 工具无需关心数据的存储位置、格式和存储位置(HBase 或 HDFS)。

如果您沿着 Hcatalog 配置 webhcat，我们确实可以使用 WebHcat 以 RESTful 方式提交作业。