hadoop - 如何将多个作业提交到 hadoop 集群

Question

我有一个运行 Hadoop 2.6 的 hadoop 集群。我想同时向它提交多个作业。我想知道我是否应该简单地提交多个作业并让集群处理其余的，或者我应该将它们写成一个 yarn 应用程序。事实上，我对 Yarn 应用程序开发不是很熟悉，并且确切地知道它与常规 Hadoop 应用程序有何不同。

Answer 1

您可以使用 MR1 和 YARN 运行 MR 作业。 YARN 与作业并行无关。 它只是运行各种作业的框架。

使用 oozie 工作流或 shell 脚本并行运行作业。