hadoop - HUE、YARN 和 OOZIE 有什么区别

Question

我了解 HDFS 和 Map Reduce 的概念，以及将处理逻辑移动到数据以提高效率的重要性。我什至能够在我的基本 Hadoop 集群上运行几个 map reduce 作业。围绕这些概念，有许多不同的技术，如 YARN、HUE、OOZIE，所有这些似乎都在做同样的事情(至少从非常高的水平来看)，即作业的操作可见性和 CRUD 能力(可以是 map-reduce或者是其他东西)。

我做出这个假设是否正确，或者它们之间是否存在更根本的区别？

谢谢凯

Answer 1

YARN - Map Reduce 是一种 API，您必须在其中实现数据处理逻辑。编译代码后，您必须使用 hadoop jar 命令提交作业。 YARN 是跟踪资源、在集群上提交作业、执行作业、显示/记录进度的框架。

OOZIE - 以数据集成为例。您可能必须从一个数据库获取数据集，从另一个数据库获取其他数据集，然后您想要加入、处理数据并将其重新加载到缓存或第三个数据库中。它涉及 2 个 sqoop 作业从数据库中提取数据，一个 hive/map reduce 作业连接和处理数据，然后推送到缓存/数据库中。所有这些工作都相互依赖，例如:我们应该只在从源数据库中提取数据后才处理数据。因此，我们需要创建一个工作流来执行完整的数据集成过程。 OOZIE 可以促进这一点。它是基于 map reduce 的工作流工具。工作流本身将作为一个或多个 map reduce 作业执行。

HUE:Hadoop 中有许多工具 - HDFS(文件系统)、Sqoop、Hive/pig 来处理数据、Impala、HBase 等等。要执行 POC，连接到集群可能会很乏味。它还需要一些 linux 技能。为了克服这些挑战，所有 Hadoop 生态系统工具都整合在一个名为 Hue 的保护伞下。