hadoop - 如何获取 hadoop 中键的整数索引？

Question

直觉上，hadoop 正在做类似这样的事情，使用 python-esque 伪代码将 key 分发给映射器。

# data is a dict with many key-value pairs
keys = data.keys()
key_set_size = len(keys) / num_mappers
index = 0
mapper_keys = []
for i in range(num_mappers):
  end_index = index + key_set_size
  send_to_mapper(keys[int(index):int(end_index)], i)
  index = end_index
# And something vaguely similar for the reducer (but not exactly).

hadoop 似乎在某个地方知道它传递的每个键的索引，因为它将它们均匀地分布在映射器(或缩减器)中。我的问题是:如何访问该索引？我正在寻找映射到我所有 n 键的整数范围 [0, n) ；这就是我所说的“索引”的意思。

我对从映射器或缩减器中获取索引的能力很感兴趣。

Answer 1

在对这个问题做了更多研究之后，我认为不可能完全按照我的意愿去做。毕竟 Hadoop 似乎没有这样一个用户可见的索引，尽管它确实试图在映射器之间平均分配工作(因此这样的索引在理论上是可能的)。