hadoop - 如何在oozie spark action中了解spark应用程序的父应用程序

Question

当我使用oozie的spark Action 启动spark应用程序时，oozie将首先启动mapreduce应用程序，然后mapreduce启动spark应用程序。我怎么知道哪个mapreduce任务启动了spark应用程序？

到目前为止，我可以看到MapReduce应用程序以一些oozie信息命名，例如oozie:launcher:T=spark:W=JavaWordCount:A=spark-test:ID=0000023-171207132348866-oozie-oozi-W，而spark应用程序具有一个应用程序标签，例如oozie-6e83d420c018bc0f63bccd19fe73b24f。但是我仍然不知道如何将它们关联起来？

Answer 1

您可以使用yarn客户端获取spark应用程序ID:

显示所有application-id并获取oozie:launcher mapreduce application-id，请运行以下命令；

yarn 应用 list

，那么您可以使用oozie:launcher mapreduce应用程序ID来获取spark应用程序ID，如下所示:

yarn 日志-applicationId $ APPID | grep“提交的申请” | awk'{print $ NF}'

请通过启动spark应用程序的第一个mapreduce application-id更改$ APPID