hadoop - Hadoop、Oozie 中作业、应用程序、任务、任务尝试日志之间的区别

Question

我正在运行一个包含多个操作的 Oozie 作业，但有一部分我无法让它工作。在故障排除过程中，我被大量日志淹没了。

在 YARN UI 中(yarn-site.xml 中的 yarn.resourceman­ager.webapp.address，通常在端口 8088 上)，有 application_<app_id>日志。

在 Job History Server(yarn-site.xml 中的 yarn.log.server.url，我们的端口 19888)中，有 job_<job_id>日志。 (这些作业日志也应该显示在 Hue 的作业浏览器上，对吧？)

在 Hue 的 Oozie 工作流编辑器中，有 task和 task_attempt (不确定它们是否相同，对我来说一切都是一团糟)，如果你点击这里和那里，它会重定向到工作浏览器。

有人可以从 Hadoop/Oozie 架构的角度解释这些东西之间的区别吗？

附言我在日志中看到了 container_<container_id>以及。不妨将此包含在您对上述内容的解释中。

Answer 1

就 YARN 而言，在集群上运行的程序称为应用程序。就 MapReduce 而言，它们被称为作业。因此，如果您在 YARN 上运行 MapReduce，作业和应用程序是同一件事(如果您仔细观察，作业 ID 和应用程序 ID 是相同的)。

MapReduce 作业由多个任务组成(它们可以是 map 或 reduce 任务)。如果任务失败，它会在另一个节点上再次启动。这些是任务尝试。

容器是一个 YARN 术语。这是资源分配的单位。例如，MapReduce 任务将在单个容器中运行。