hadoop - m 映射器和 r 缩减器以及 wordcount 程序的 k 个唯一单词会发出多少键值对？

Question

这似乎是我在网上找到的一个问题。根据我的回答应该正好是 k/r 而不是大约 k/r？你怎么看？我知道它将是 r 个文件作为输出。

If you run the word count MapReduce program with m mappers and r reducers, how many output files will you get at the end of the job? And how many key-value pairs will there be in each file? Assume k is the number of unique words in the input files.
A. There will be r files, each with exactly k/r key-value pairs.
B. There will be r files, each with approximately k/m key-value pairs.
C. There will be r files, each with approximately k/r key-value pairs.
D.There will be m files, each with exactly k/m key value pairs.
E.There will be m files, each with approximately k/m key-value pairs.

Answer 1

选项C正确。

mapreduce 作业生成的输出文件数将等于执行的 reducer 数。因此，将创建 r 个文件。

默认情况下，mapreduce 框架使用 HashPartition 对键进行分区。

Partition = (Hash value of the key) % (Number of reducers) 

因此，如果两个或多个键具有相同的哈希值，那么它们将转到同一个分区。在这种情况下，我们不能期望恰好有 k/r 个键值对。

当且仅当所有键的哈希值都不同时，我们才能准确地得到 k/r 个键值。

因此，最终答案将是每个大约有 k/r 个键值对。