gpt4 book ai didi

java - 相同的关键不同的 reducer (HADOOP)?

转载 作者:可可西里 更新时间:2023-11-01 14:18:49 24 4
gpt4 key购买 nike

是否可以在不同的 reducer 上使用相同的键处理值?从所有映射器中我得到了具有相同 key 的数据,我想用不同的 reducer 处理它?我的困惑是这本书说所有具有相同键的值都将转到相同的 reducer ......

 mapper1(k1,v1),mapper2(k1,v2),mapper3(k1,v3) and so on...

我不希望所有数据都到同一个 reducer ......它应该是这样的,

 reducer1(k1,v1),reducer2(k1,v2)....

假设 reducer1 产生 sum1,reducer2 产生 sum2,我想要那个

 sum=sum2+sum1

我该怎么做?

最佳答案

具有相同 key 的数据将始终进入相同的 reducer。但是你可以选择任何你想要的键,所以如果你想让他们去不同的 reducer ,那么就选择不同的键。

如果您想根据 reducer 的输出进行额外的组合,那么您必须执行另一个 MapReduce 作业,并将第一个作业的输出作为下一个作业的输入。这会很快变得丑陋,所以你不妨看看 Cascading , Pig , 或 Hive简化事情。

关于java - 相同的关键不同的 reducer (HADOOP)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16175672/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com