hadoop - 关于 oozie 启动器作业的说明

Question

我需要一些关于 oozie 启动器作业的说明。

1) 启动器作业是按工作流应用程序(具有多个操作)启动的还是按工作流应用程序中的每个操作启动的？

2) 用例:我的工作流程包含多个 shell Action (在内部执行 spark、hive、pig Action 等)。使用 shell 的原因是因为可以使用自定义逻辑计算分区日期等其他参数，并使用 .q 文件将其传递给配置单元

示异常(exception)壳文件:

hive -hiveconf DATABASE_NAME=$1 -hiveconf MASTER_TABLE_NAME=$2 -hiveconf SOURCE_TABLE_NAME=$3 -hiveconf -f $4

示例 .q 文件:

use ${hiveconf:DATABASE_NAME};
insert overwrite into table ${hiveconf:MASTER_TABLE_NAME} select * from ${hiveconf:SOURCE_TABLE_NAME};

我设置了 oozie.launcher.mapreduce.job.queuename和 mapreduce.job.queuename到不同的队列，以避免单个队列中任务槽的饥饿。我也省略了 <capture-output></capture-output>在相应的shell行动。但是，我仍然看到启动器作业占用了启动器队列中的大量内存。

• 这是因为启动器作业缓存了来自 hive 的日志输出吗？
• 像我这样执行 shell 操作时，是否需要为启动器作业提供足够的内存？
• 如果我明确限制启动器作业内存会怎样？

如果有人能概述 oozie 启动器工作的职责，我将不胜感激。

谢谢!

Answer 1

Is the launcher job launched per workflow application (with several actions) or per action within a workflow application?

启动器作业在工作流中按操作启动。

我强烈建议您使用相应的 oozie 操作、Hive、Pig 等。因为它允许 oozie 以更好的方式处理您的工作流和操作。