hadoop - 为什么 oozie 向 yarn 提交 shell Action ？

Question

我最近在学习oozie。我对 shell 的 Action 有点好奇。我正在执行包含类似 shell 命令的 shell 操作

hadoop jar <jarPath> <FQCN>

在运行此操作时，有两个 yarn 作业在运行，它们是

1. 一个用于 hadoop 作业

2. 一个用于 shell 操作

我不明白为什么 shell Action 需要 yarn 来执行。我也试过电子邮件操作。它在没有 yarn 资源的情况下执行。

Answer 1

要回答这个问题，区别在于

1. 独立运行 shell 脚本(.sh 文件或从 CLI)
2. 作为 oozie 工作流程的一部分运行 shell 操作。(oozie shell 操作中的 shell 脚本)

第一种情况很明显。

在第二种情况下，oozie 通过 YARN(是资源协商器)启动 shell 脚本以在安装 oozie 的集群上运行您的 shell 脚本，并在内部运行 MR 作业以启动 shell 操作。因此 shell 脚本在内部作为 YARN 应用程序运行。 oozie 工作流的日志显示了在 oozie 中启动 shell 操作的方式。