hadoop - 我可以将 mapreduce 与一对键和一对值一起使用吗？

Question

我的问题是理论性的，

我正在尝试为大数据处理中的 mapreduce 示例进行设计。

我的案例需要一对键映射到一对值。

例如，如果我们有以下文本:“工学学士有5年经验”我正在尝试以一种我可以分别为每个词赋值的方式来计算工程和经验这两个词。

所以根据上面给出的文本示例，我的键是 (Engineering,Experience)，我的值是 (1,1)。

请注意，我的作业中两个键值之间存在关系，因此我希望它们都在一组键值中，以确定是否在一个文本文件中提到了两个键，或者只提到了一个键，或者没有提到。

请告诉我上述情况是否可以在大数据的 map-reduce 中进行..

Answer 1

拥有 "(Engineering,Experience)" 的字符串键与仅拥有其中一个单词的字符串没有什么不同。

如果您想要更多的自定义类型，那么您将需要继承Writable 和WritableComparable 接口(interface)。

同样，对于值，您可以将整个元组作为 Text 并在稍后解析它，或者您可以创建自己的 Writable 子类，它可以存储两个整数。