gpt4 book ai didi

shell - 如何使用作业名称从YARN日志中获取用于已完成hadoop作业的资源?

转载 作者:行者123 更新时间:2023-12-02 20:52:10 40 4
gpt4 key购买 nike

我有一个运行多个配置单元脚本的unix shell脚本。我已经为hive脚本中的每个hive查询指定了Job名称。

我需要的是,在shell脚本的结尾,我想根据YARN日志/应用程序中具有appstatus为“FINISHED”的应用程序的作业名称来检索用于配置单元查询的资源(就所使用的内存而言,容器)。

我该怎么做呢?
任何帮助,将不胜感激。

最佳答案

您可以通过rest api从“ yarn 历史记录”服务器中提取此信息。

https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/HistoryServerRest.html

滚动浏览该文档,您将看到有关如何获取有关执行的作业的群集级别信息以及如何获取有关各个作业的信息的示例。

关于shell - 如何使用作业名称从YARN日志中获取用于已完成hadoop作业的资源?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45657448/

40 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com