Java MapReduce 计数器 - Oozie

Question

Java 应用程序在 Hadoop 集群中作为具有单个 Mapper 任务的 map-reduce 作业执行。如果一个 java mapreduce 作业(不是 hive 或任何其他作业只是一个直接的 mapreduce 作业)是 oozie 的一部分，我们会得到一个单独的 mapper 启动器并且实际的 mapreduce 作业独立运行。那么有没有办法将启动器和实际的 mapreduce 作业运行联系起来？像获取与启动器 jobid 一起运行的实际操作的 jobid？任何命令知道吗？

Answer 1

您可以转到 oozie UI 并获取此信息。单击您想要的操作，然后转到 Child Job URLs 选项卡。在那里您可以找到特定操作启动的所有子作业。

java 没有子 url 的 oozie 操作:

map-reduce oozie 中带有子 urls 选项卡的操作:

对于 map-rdeuce 作业，您可以访问 Child Job URLs 选项卡并获取所有子 mapreduce 作业 url。