gpt4 book ai didi

hadoop - Hadoop 资源管理器将应用程序信息存储多长时间?

转载 作者:可可西里 更新时间:2023-11-01 16:39:21 26 4
gpt4 key购买 nike

我们使用官方 REST api 从 Hadoop 资源管理器读取各种用户和应用程序的资源使用情况。我们的问题是应用程序历史记录的持续时间不够长,因此它会为已用内核、内存和容器返回 -1 值。

我们想延长 yarn 存储数据的持续时间,但我们不知道在哪里设置值。

最佳答案

您应该检查您的 mapred-site.xml 并查看 mapreduce.jobhistory.max-age-ms。如中所述:

https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

Job history files older than this many milliseconds will be deleted when the history cleaner runs. Defaults to 604800000 (1 week).

如果您想读取资源使用情况,您应该考虑使用作业历史记录服务器的作业 API 和作业计数器 API。 RM REST API 显示瞬时使用量而不是累积使用量。

https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html#Job_API

https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html#Job_Counters_API

关于hadoop - Hadoop 资源管理器将应用程序信息存储多长时间?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44781337/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com