gpt4 book ai didi

Hadoop获取日期之间的时差

转载 作者:可可西里 更新时间:2023-11-01 16:13:05 27 4
gpt4 key购买 nike

我在hadoop中遇到这样的问题

由于我的映射器,我得到了关注

KeyValue1, 2014-02-01 20:42:00
KeyValue1, 2014-02-01 20:45:12
KeyValue1, 2014-05-01 10:35:02
KeyValue2, 2014-03-01 01:45:12
KeyValue2, 2014-03-01 02:08:18
KeyValue3, 2014-02-01 20:45:12
KeyValue4, 2015-02-01 05:45:12
KeyValue4, 2013-02-01 10:45:12

然后继续..

归根结底我想要这个;

 KeyValue1, TimeDifference(first occurrence - last occurrence)
KeyValue2, TimeDifference(first occurrence - last occurrence)
KeyValue3, -occured once-
KeyValue4, TimeDifference(first occurrence - last occurrence)

非常感谢任何输入。干杯

最佳答案

有多种方法。我建议使用复合键。创建自定义 Partitioner、KeyComparator 和 GroupComparator。然后在 reducer 端,您可以简单地选择第一行和最后一行并进行区分。

关于Hadoop获取日期之间的时差,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27283427/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com