hadoop - Hadoop-在 map 功能中获取拆分ID

Question

我正在使用map reduce进行项目。

我对Hadoop的理解是，它将把我的数据分成多个块，然后将这些块转换成拆分，其中拆分对应于单个映射任务。

我假设每个拆分都将具有与其关联的ID或数字。

我想知道是否有任何方法可以获取此拆分ID /数字或什至块ID /数字作为映射函数的键？

即:

map(split_id, data)

Answer 1

Inputsplit toString()方法将返回一个模式。如果使用MD5哈希对这种模式进行哈希处理，我们可以获得唯一的ID，用于标识每个输入拆分。

    InputSplit is = context.getInputSplit();
    splitId = MD5Hash.digest(is.toString()).toString();

然后，我们可以将splitId用作映射器函数的键。