hadoop - 当 reducer 数量较少时，键是否唯一

Question

我想问问不同的键是否可以在同一个 reducer 中结束。如果我基于键相同的假设构建我的 reducer ，那将是一种有效的方法。假设每个作业配置的 reducer 数量是 5，我有来自 map 输出的唯一键是 10，理想情况下它应该需要 10 个 reducer，同一个 reducer 方法现在会接收 2 个不同类型的键。考虑 Hash partitioning ，这意味着 reducers 较少的场景。

Answer 1

一般来说，您不能假设 1 个 reducer 只会收到一个 key 。例如，如果您的映射器输出 N 键，其中 N>1，并且如果您正好设置 1 个 reducer，那么唯一的 reducer 将接收所有键。

但是如果您控制不同键的数量 = reducer 的数量，那么您可以假设每个 reducer 将始终收到相同的键。例如，如果您的映射器正好输出 N 个键，并且如果您正好设置 N 个缩减器，那么每个缩减器将只收到 1 个键。