gpt4 book ai didi

hadoop - 让多个 reducer 在 HDFS 中创建多个输出文件

转载 作者:可可西里 更新时间:2023-11-01 14:53:03 26 4
gpt4 key购买 nike

如果我有多个 reducer,输出会保存为多个文件吗?

如果我有 job.setNumReduceTasks(4),输出会写入 4 个不同的文件吗?

最佳答案

在 map-reduce 作业中,如果设置 4 个 reducer 来实现 reducer 作业。通过这样做,最终输出将生成 4 个部分文件。像part-r-00001part-r-00002part-r-00003part-r-00004 .希望这能澄清您的疑虑。

关于hadoop - 让多个 reducer 在 HDFS 中创建多个输出文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32088102/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com