api - 纱 API : Getting Yarn Aggregated Logs for application by API

Question

我使用 YARN java API 而不是在终端中提交 Hadoop 应用程序。我正在寻找一种在应用程序完成后通过 Yarn API 获取 yarn 聚合日志的方法。

当然，这可以通过简单的命令来完成:“yarn logs -applicationId {my_application_ID}”，但我想通过 API 来完成。

有人知道如何使用 API 而不是命令行来获取这些日志吗？

谢谢。

Answer 1

正如您在代码源上所做的那样 https://github.com/apache/hadoop/blob/trunk/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-client/src/main/java/org/apache/hadoop/yarn/client/cli/LogsCLI.java ，这不是微不足道的，显然，YARN API 中缺少日志 API。

通过 API ( https://hadoop.apache.org/docs/r2.7.4/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Application_API )

curl http://yarn.infra/ws/v1/cluster/apps/application_1502112083252_1001

...
<amContainerLogs>
http://node-1.infra:8042/node/containerlogs/container_e41_1502112083252_1001_01_000001/hdfs
</amContainerLogs>
...

应用程序会尝试(如果对您有用的话):

curl http://yarn.infra/ws/v1/cluster/apps/application_1502112083252_1001/appattempts

..
<logsLink>
http://node-3.infra:8042/node/containerlogs/container_e41_1502112083252_1001_01_000001/hdfs
</logsLink>
..

让我们重新 curl 这些链接，这样您就可以下载本地日志。但这不是完整的日志，(我没有找到确切的获取方式，如果您找到它，请随时完成我的回答。)