gpt4 book ai didi

java - Hadoop-在Reducer中排序

转载 作者:行者123 更新时间:2023-12-02 21:42:27 24 4
gpt4 key购买 nike

我有一个map reduce代码,在mapper中我正在做一些计算,而在reducer中我正在应用公式以得到结果。我的结果是将IntDouble对作为键,将Text作为值格式。我需要知道如何对reducer的结果进行排序?

这是 reducer 的样本输出。我需要按键排序。我在映射器中实现了所有代码,并对其进行了完美排序,但与reducer不同,结果未排序。

[1      0.5]    Mr. Nice Guy
[1 0.0] Rush Hour
[1 0.3] Twin Dragons
[1 0.6] Snake in the Eagle's Shadow
[1 0.5] Police Story
[1 0.5] Armour of God 2: Operation Condor
[1 0.5] Drunken Master

预期排序列表:
    [1      0.0]    Rush Hour
[1 0.3] Twin Dragons
[1 0.5] Mr. Nice Guy
[1 0.5] Police Story
[1 0.5] Armour of God 2: Operation Condor
[1 0.5] Drunken Master
[1 0.6] Snake in the Eagle's Shadow

最佳答案

您如何对键进行排序?
我将定义一个对象IntDoublePair,使其具有可比性,实现适合我的比较逻辑,然后在化简器中实例化List<IntDoublePair> myList,并在迭代每个键的值的同时将它们添加到myList中。最后对列表进行排序。
您也可以搜索“二级排序mapreduce” ...也许适合您的目的

关于java - Hadoop-在Reducer中排序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27725854/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com