gpt4 book ai didi

hadoop - 使用 hadoop mapreduce 对数字进行排序

转载 作者:可可西里 更新时间:2023-11-01 15:38:35 24 4
gpt4 key购买 nike

数据看起来像这样,第一个字段是一个数字,1120117820

我想根据第一个字段的数字对这些行进行排序,这意味着排序后应该如下所示,1111202078

但是 hadoop 是这样的:112078

最佳答案

同一个key由同一个reducer处理。因此,11 和 11 由同一个 reducer 处理。如果输出这个reducer的key,那么11只输出一次。 20也一样。如果您只想输出 11 11 20 20 78,则执行以下操作:

reduce(key, iterator values) {
int counter = 0;
while (values.hasNext()) {
counter++;
values.next();
}
for (int i =0; i < counter; ++i) {
output.collect(key, <whatever>);
}
}

关于hadoop - 使用 hadoop mapreduce 对数字进行排序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20966057/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com