gpt4 book ai didi

hadoop - 我如何将reduce的输出用作其他作业的来源

转载 作者:行者123 更新时间:2023-12-02 20:09:13 29 4
gpt4 key购买 nike

我有map / reduce作业,将它的文件还原后存储在HDFS的文件夹中。

我想将这些结果提交给另一个 map /归约工作。

我需要使用MultiFileInputFormat还是其他解决方案?

最佳答案

链接Map Reduce: ChainMapper and ChainReducer中提到了三个选项,说明如何将化简器的输出作为另一个映射任务的输入。

MultiFileInputFormat用于获取多种输入格式,作为Map任务的输入。

关于hadoop - 我如何将reduce的输出用作其他作业的来源,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18661543/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com