hadoop - 何时使用 Hcatalog 以及它的好处是什么

Question

我是 Hcatlog (HCAT) 的新手，我们想知道我们在哪些用例/场景中使用 HCAT，使用 HCAT 的好处，是否可以从 HCatlog 中获得任何性能改进。任何人都可以提供有关何时使用 Hcatlog 的信息

Answer 1

Apache HCatalog 是 Hadoop 的表和存储管理层，它使使用不同数据处理工具(Apache Pig、Apache Map/Reduce 和 Apache Hive)的用户能够更轻松地在网格上读取和写入数据。

HCatalog 在存储在 HDFS 集群上的数据上创建一个表抽象层。此表抽象层以熟悉的关系格式呈现数据，并使使用熟悉的查询语言概念读取和写入数据变得更加容易。

HCatalog 数据结构是使用 Hive 的数据定义语言 (DDL) 定义的，Hive 元存储存储 HCatalog 数据结构。使用命令行界面 (CLI)，用户可以创建、更改和删除表。表被组织到数据库中，或者如果没有为表定义则放置在默认数据库中。创建表后，您可以使用 Show Table 和 Describe Table 等命令浏览表的元数据。HCatalog 命令与 Hive 的 DDL 命令相同。

HCatalog 确保用户无需担心他们的数据存储在何处或以何种格式存储。 HCatalog 在表格 View 中显示来自 RCFile 格式、文本文件或序列文件的数据。它还提供 REST API，以便外部系统可以访问这些表的元数据。

HCatalog 向其他 Map/Reduce 工具开放 hive 元数据。每个 Map/Reduce 工具都有自己关于 HDFS 数据的概念(例如 Pig 将 HDFS 数据视为文件集，Hive 将其视为表)支持 HCatalog 的 Map/Reduce 工具不需要关心数据存储在哪里，在哪格式和存储位置。

1. 它有助于与其他工具集成，并为 Pig、Hive 和 Map/Reduce 提供读写接口(interface)。
2. 它为 Hadoop 工具提供共享模式和数据类型。您不必在每个程序中显式键入数据结构。
3. 它将信息公开为外部数据访问的 Rest 接口(interface)。
4. 它还与 Sqoop 集成，Sqoop 是一种旨在在 Hadoop 与关系数据库(例如 SQL Server 和 Oracle)之间来回传输数据的工具
5. 它提供 API 和 Web 服务包装器以访问 Hive Metastore 中的元数据。
6. HCatalog 还公开了一个 REST 接口(interface)，以便您可以创建自定义工具和应用程序来与 Hadoop 数据结构进行交互。

这使我们能够使用正确的工具来完成正确的工作。例如，我们可以使用 HCatalog 将数据加载到 Hadoop 中，使用 Pig 对数据执行一些 ETL，然后使用 Hive 聚合数据。处理后，您可以使用 Sqoop 将数据发送到位于 SQL Server 中的数据仓库。您甚至可以使用 Oozie 自动执行该过程。

工作原理:

1. Pig- HCatLoader 和 HCatStore 接口(interface)
2. Map/Reduce- HCatInputFormat 和 HCatOutputFormat 接口(interface)
3. Hive - 无需接口(interface)。直接访问元数据

引用资料:

Microsoft Big Data Solution

http://hortonworks.com/hadoop/hcatalog/

您问题的答案:

正如我之前所述，HCatalog 为 hadoop 工具提供了共享模式和数据类型，它简化了您在数据处理过程中的工作。如果您使用 HCatalog 创建了一个表，您可以直接通过 pig 或 Map/Reduce 访问该 hive 表(您不能简单地通过 pig 或 Map Reduce 访问一个 hive 表)。您不需要为每个工具创建模式。

如果您正在处理可从多个系统使用的共享数据用户(一些团队使用 Hive，一些团队使用 Pig，一些团队使用 Map/Reduce)然后 HCatalog 将很有用，因为他们只需要表来访问数据进行处理。

它不是任何工具的替代品它是一种提供对许多工具的单一访问的工具。

性能取决于您的 hadoop 集群。您应该在 Hadoop 集群中对主要性能进行一些性能基准测试。