gpt4 book ai didi

hadoop - 如何在映射器中为每个输入记录输出单独的文件?

转载 作者:行者123 更新时间:2023-12-02 21:37:00 25 4
gpt4 key购买 nike

我有一个mapreduce工作,仅由mapper组成。我希望这项工作为每个输入记录输出一个单独的文件(其名称来自输入记录)。我怎样才能做到这一点?

最佳答案

这不是设计映射器界面的方式,但是没有什么可以阻止您在映射器代码中打开文件并将某些内容写入该文件。

您可能需要更新一些计数器(使用report.incrCounter()),以便Hadoop知道您的代码正在执行某些操作,因为您将不会调用output.collect()。

关于hadoop - 如何在映射器中为每个输入记录输出单独的文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31523598/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com