gpt4 book ai didi

java - 有没有一种方法可以限制我的mapreduce(JAVA)作业产生的记录量?

转载 作者:行者123 更新时间:2023-12-02 21:22:25 25 4
gpt4 key购买 nike

可以说我只想从我的mapreduce程序中产生1000条记录。
我将多个映射器集成到一个reducer中,因此限制来自映射器的记录数不是一个选择。

mapreduce是否有一些内置函数可以执行类似的操作

HCatOutputFormat.setOutput(job, OutputJobInfo.create(dbName, tbName, partitionValues)).limit(1000);

或类似的东西?

最佳答案

您可以使用内置的MAP_OUTPUT_RECORDS计数器。
Here是示例

关于java - 有没有一种方法可以限制我的mapreduce(JAVA)作业产生的记录量?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36947655/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com