gpt4 book ai didi

hadoop - 从 hadoop 中的映射器中消除重复的键/值对

转载 作者:可可西里 更新时间:2023-11-01 16:34:25 25 4
gpt4 key购买 nike

如果我从运行在 2 个不同数据节点上的 2 个不同映射器获得相同的键/值对,并且如果我使用单个 reducer,我该如何消除重复的键/值对并防止它进入 reducer?

我是否应该使用组合器,然后检查同一个键是否有重复值,然后在组合器中消除它?但是组合器将来自单个映射器的所有键值对作为输入,对吧?

最佳答案

这正是 reducer 的职责——处理这种重复。我认为正是出于这个原因,hadoop 中没有办法允许它。
正如您以正确的方式指出的那样 - 组合器在这里不会完全有帮助,而只会减少此类重复的数量

关于hadoop - 从 hadoop 中的映射器中消除重复的键/值对,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11576486/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com