gpt4 book ai didi

hadoop - 是否可以从Hadoop中的同一reducer写入HBase和多个文件

转载 作者:行者123 更新时间:2023-12-02 21:51:37 25 4
gpt4 key购买 nike

我们需要能够将map / reduce的输出写入到多个文件(已经工作)以及HBase表中。这可能吗?我一直在看MultipleOutputs选项,但是我不知道该怎么做或者它是否可行。我对haddop非常陌生。
如果有人知道网络上的任何示例,请您指出正确的方向吗?
谢谢。

最佳答案

我个人还没有尝试过,但是MultipleOutputs的API确实支持它。因为您为每个命名输出独立配置了输出键/值类,所以可以有一个(或多个)*FileOutputFormat和一个TableOutputFormat

关于hadoop - 是否可以从Hadoop中的同一reducer写入HBase和多个文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20231093/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com