gpt4 book ai didi

java - mapreduce,排序值

转载 作者:可可西里 更新时间:2023-11-01 15:01:38 26 4
gpt4 key购买 nike

我的映射器有一个输出:

Mapper: KEY, VALUE(Timestamp, someOtherAttrbibutes)

我的 Reducer 确实收到了:

Reducer: KEY, Iterable<VALUE(Timestamp, someOtherAttrbibutes)>

我要Iterable<VALUE(Timestamp, someOtherAttrbibutes)>Timestamp 属性排序。有没有实现的可能?

我想避免在 Reducer 代码中进行手动排序。 http://cornercases.wordpress.com/2011/08/18/hadoop-object-reuse-pitfall-all-my-reducer-values-are-the-same/

我将不得不从 Iterable 中“深度复制”所有对象,这会导致巨大的内存开销。 :(((

最佳答案

这相对容易,您需要为您的VALUE 类编写比较器类。

在此处仔细查看:http://vangjee.wordpress.com/2012/03/20/secondary-sorting-aka-sorting-values-in-hadoops-mapreduce-programming-paradigm/特别是在二次排序的解决方案部分。

关于java - mapreduce,排序值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14320313/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com