hadoop - hadoop中的嵌套键值对

Question

我在hadoop中遇到了这个问题。

我有一个用户 Activity 列表。每个用户每天都可以参加不同的类(class)。我想计算每个用户为每个类(class)上的类(class)数。

例如，假设类的数量未知。 User A花费class A 10倍，class B 2倍，class C 3倍。我想要一个数据集，其中包含每个用户参加的每个类(class)的类(class)数量

我有每个用户的每日记录。例如

Day 1, User A , Class A
Day 1, User A, Class B
Day 1, User B, Class A
Day 2, User A Class C
Day 2, User B Class C
Day 3, User A Class A.

我可以使用映射器逐行读取这些行，然后将用户用作键并将类用作值。但是我知道只有键排序而不是值排序。因此，我还需要对这些值进行计数。

有什么办法可以做嵌套键值对吗？

Answer 1

您可以做的是定义自己的自定义数据类型，而不是使用内置数据类型。在自定义数据类型中，包括同时设置所需的值和覆盖compareTo()方法，以便Hadoop可以在内部对其进行比较并对其进行排序。然后您的问题应该得到解决。