gpt4 book ai didi

hadoop - 减少阶段后合并输出文件

转载 作者:可可西里 更新时间:2023-11-01 14:06:23 25 4
gpt4 key购买 nike

在 mapreduce 中,每个 reduce 任务将其输出写入名为 part-r-nnnnn 的文件,其中 nnnnn 是与 reduce 任务关联的分区 ID。 map/reduce 是否合并这些文件?如果是,如何?

最佳答案

您可以通过调用委托(delegate)整个归约输出文件的合并,而不是自己进行文件合并:

hadoop fs -getmerge /output/dir/on/hdfs/ /desired/local/output/file.txt

注意 这会在本地合并 HDFS 文件。运行前确保有足够的磁盘空间

关于hadoop - 减少阶段后合并输出文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5700068/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com