java - mapreduce hadoop 中的 reducer 数量

Question

我只有一个从 mapper 发送到 reducer 的键，并且我将 no of reducers 设置为 10。所以一个 reducer 将在该键上运行，剩下的 9 个 reducer 将做什么？

Answer 1

其他 9 个 reducer 将照常运行它们的生命周期，它们一旦运行就不会有任何键/值要处理，所以它们会很快停止。因此，您将在资源不必要地运行时浪费资源。

您通常(大多数输出​​格式都这样做)还会发现您最终得到一个运行但未写入任何内容的 reduce 的部分文件。部分文件将不包含任何实际数据，仅包含文件元数据，例如 gzip header 。