gpt4 book ai didi

hadoop - 如何检索 hadoop 作业映射/减少输入/输出计数

转载 作者:可可西里 更新时间:2023-11-01 15:33:45 25 4
gpt4 key购买 nike

有什么方法可以在运行 hadoop 作业后检索并打印 reduce 输出记录的数量?我正在迭代运行 map-reduce,当我之前的 reduce 输出计数与当前 map 输出计数相同时,我想停止。

最佳答案

根据您的 Hadoop 版本,名称可能不同。但一般来说,您可以从作业对象访问您的计数器。

job.getCounters().findCounter("org.apache.hadoop.mapred.Task$Counter", 
"REDUCE_OUTPUT_RECORDS").getValue();

查阅 WebUI 以查看您的作业中定义了哪些计数器,并相应地更改名称。

关于hadoop - 如何检索 hadoop 作业映射/减少输入/输出计数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28744089/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com