gpt4 book ai didi

Hadoop任务进度

转载 作者:可可西里 更新时间:2023-11-01 15:17:47 25 4
gpt4 key购买 nike

我需要计算在 Hadoop 集群中所有节点上运行的每个 map 任务的进度。我正在考虑将已处理数据的大小除以整个输入数据的大小,但我不确定如何为任务获取此信息。

我看到 TaskStatus 类有一个方法 getProgress(),但是没有对它的描述。它是否提供了我需要的值(value)?

最佳答案

对于映射任务,是的 getProgress() 返回映射器在输入文件中的进度。对于 reduce 任务,计算就不那么直接了。 This article有一个很好的解释。

关于Hadoop任务进度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15720050/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com