hadoop - 等效YARN MRv2 JobClient

Question

我找不到与MRv2等效的JobClient(Java，MRv1)。我正在尝试读取正在运行的作业的MR作业状态，计数器等。我必须从他相信的资源管理器中获取信息(因为“历史记录”服务器在作业结束前将没有信息，并且我需要在作业仍在运行时读取计数器)。我缺少的mapreduce api中有一个客户端吗？

Answer 1

如果您具有提交给YARN的MR作业的应用程序ID，则可以使用:

YarnClient(import org.apache.hadoop.yarn.client.api.YarnClient)和

ApplicationReport(import org.apache.hadoop.yarn.api.records.ApplicationReport)

获取与应用程序相关的统计信息。

例如示例代码如下:

// Initialize and start YARN client
YarnClient yarnClient = YarnClient.createYarnClient();
yarnClient.init(configuration);
yarnClient.start();

// Get application report
try {
    ApplicationReport applicationReport = yarnClient.getApplicationReport(ConverterUtils.toApplicationId(applicationID));
    // Get whatever you want here.
} catch (Exception e) {
    // Handle exception;
}

// Stop YARN client
yarnClient.stop();

您可以从 ApplicationReport类获得的一些信息是:

应用程序资源使用情况报告

应用程序分析

最终应用程序状态

开始和结束时间

应用程序类型

优先

进展等。

您可以在此处查看API文档中的 YarnClient和 ApplicationReport(这是Hadoop 2.7文档):

YarnClient

ApplicationReport