gpt4 book ai didi

java - 如何获取 Hadoop 执行的已完成作业的统计信息?

转载 作者:可可西里 更新时间:2023-11-01 15:17:43 27 4
gpt4 key购买 nike

当我们在 Hadoop 上运行数据密集型作业时。 Hadoop 执行作业。现在我想要的是工作完成的时间。它会给我有关的统计数据执行的工作即;耗时、mapper数量、reducer数量等有用信息。

作业执行期间在浏览器中显示的信息,如作业跟踪器、数据节点。但是我如何才能在我的应用程序中获得统计信息,该应用程序在 Hadoop 上运行作业并在作业完成时为我提供报告之类的结果。我的应用程序是在 JAVA 中

任何可以帮助我的API。我们将不胜感激。

最佳答案

查看 JobClient 的以下方法:

这两个调用都返回 TaskReport 的数组对象,您可以从中提取开始/结束时间,以及每个任务的单独计数器

关于java - 如何获取 Hadoop 执行的已完成作业的统计信息?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16180654/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com