hadoop 对键进行排序并更改键值

Question

在 hadoop 中，映射器将 key 作为文件中的位置接收，例如“0、23、45、76、123”，我认为这是字节偏移量。

我有两个大型输入文件，我需要以文件的相同区域(就行数而言，例如 400 行)获得相同 key 的方式进行拆分。字节偏移显然不是最好的选择。

我想知道是否有一种方法或选项可以将键更改为整数，因此输出键将是:“1、2、3、4、5”而不是“0、23、45、76、123”？

谢谢!

Answer 1

In hadoop, the mapper receives the key as the position in the file like "0, 23, 45, 76, 123", which I think are byte offsets.

是的。但不总是。如果您使用的是 TextInputFormat，则为真。 (如你的情况)。键和值取决于您使用的 InputFormat 类型并相应地更改。

I was wondering if there is a way or option to change the keys to an integer so the output keys will be: "1, 2, 3, 4, 5" instead of "0, 23, 45, 76, 123"?

您可以通过继承 FileInputFormat 来编写自己的自定义 InputFormat 来实现这一点。