mapreduce - 在运行 MapReduce 作业时获取应用程序 ID

Question

有没有什么方法可以在运行时获取应用程序 ID - 例如 - 带有 yarn 的 wordcount 示例命令？

我希望使用 yarn 从另一个进程启 Action 业命令，并通过 YARN REST API 监控作业的状态。

(使用 Hadoop 2.4.0)

Answer 1

您可以使用 yarn application -list命令以获取所有应用程序的列表。

特别是如果您想获取当前位于 RUNNING 中的所有应用程序的列表。状态，可以执行以下命令:

yarn application -list -appStates RUNNING

如果您已经知道应用程序 ID，那么您可以使用以下命令查询应用程序的状态:

yarn application -status <application ID>

例如

yarn application -status application_1448359154956_0001

我得到以下应用程序报告(在这种情况下，应用程序是用户 KILLED):

Application Report :
Application-Id : application_1448359154956_0001
Application-Name : distcp
Application-Type : MAPREDUCE
User : mballur
Queue : default
Start-Time : 1448359237581
Finish-Time : 1448359419592
Progress : 100%
State : KILLED
Final-State : KILLED
Tracking-URL : http://mballur.fareast.corp.microsoft.com:8088/cluster/ap
p/application_1448359154956_0001
RPC Port : -1
AM Host : N/A
Aggregate Resource Allocation : 1652876 MB-seconds, 1337 vcore-seconds
Log Aggregation Status : NOT_START
Diagnostics : Application killed by user.

您可以解析此输出以获得 State和 Progress的应用程序。