gpt4 book ai didi

hadoop - 以编程方式查找正在运行的 Hadoop 作业的失败 TaskAttempts

转载 作者:可可西里 更新时间:2023-11-01 15:39:15 25 4
gpt4 key购买 nike

如果我进入任务跟踪器并查看正在运行的作业,我可以轻松地看到正在运行/已完成/失败/已终止的任务尝试,并深入了解有关它们的更多信息。

我也希望能够以编程方式访问此信息,但是 JobClient类似乎没有任何方法可以直接访问此信息。 TaskReport JobClient.getMapTaskReports() 和 JobClient.getReduceTaskReports() 函数返回的类似乎是最接近的东西,但这似乎只有关于正在运行或已完成的任务尝试的信息。有没有办法访问有关给定任务的所有任务尝试的信息?

最佳答案

可能有更好的方法,但这是我能想到的:

使用 RunningJob 的以下方法获取 TaskAttemptID 列表:

 TaskCompletionEvent[] getTaskCompletionEvents(int startFrom)

然后,通过以下方法获取每个任务状态 TaskCompletionEvent :

TaskCompletionEvent.Status getTaskStatus()

关于hadoop - 以编程方式查找正在运行的 Hadoop 作业的失败 TaskAttempts,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19550859/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com