java - 如何使用 java 以编程方式检索 yarn 的日志

Question

我实际上在 linux shell 上检索我的 spark 应用程序的日志:

yarn logs -applicationId applicationid

有没有办法使用 java 以编程方式检索它？

Answer 1

我想使用 java 以编程方式执行此操作，所以我终于看了一下命令背后的代码:

yarn logs -applicationId applicationid

这是在:

src/main/java/org/apache/hadoop/yarn/client/cli/LogsCLI.java

我现在检索字符串(内容)中的日志。代码是:

String applicationId = "application_1492795815045_3940";
ApplicationId appId = appId = ConverterUtils.toApplicationId(applicationId);
LogCLIHelpers logCliHelper = new LogCLIHelpers();
Configuration config = new Configuration();
logCliHelper.setConf(config);
String appOwner = UserGroupInformation.getCurrentUser().getShortUserName();
ByteArrayOutputStream baos = new ByteArrayOutputStream();
PrintStream ps = new PrintStream(baos);
// Function to retrieve logs
logCliHelper.dumpAllContainersLogs(appId, appOwner, ps);
String content = new String(baos.toByteArray(), StandardCharsets.UTF_8);
System.out.println(content)