gpt4 book ai didi

hadoop链映射/减少

转载 作者:可可西里 更新时间:2023-11-01 15:07:39 25 4
gpt4 key购买 nike

我链接了 2 个映射器和 1 个缩减器。是否可以将中间输出(链中每个映射器的 o/p)写入 HDFS?我尝试为每个设置 OutputPath,但它似乎不起作用。现在,我不确定是否可以完成。有什么建议吗?

最佳答案

结果总是作为 SequenceFile 写入 HDFS。但是如果你使用的是 reducer,这些文件只是临时文件,它们会在工作完成后被删除。如果您需要 map 输出,则必须链接两个作业。一个没有 reducer 的工作,一个有 reducer 的工作。或者如果你有一点技巧把hdfs文件脱离map任务,这也是可以的。
第一种方法是非编码的,而第二种是。由你决定!

关于hadoop链映射/减少,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5409559/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com