hadoop - reducer 数量

Question

我正在尝试在 10 个数据节点的集群中测试 Map reduce 程序的性能。在此过程中，我使用了 5 个 Reducers，然后是 10 个等等。

我在想增加 reducer 的数量也会使工作完成得更快，但我观察到在 30 之后，即使你将数量增加到 70，工作运行时间也没有任何区别，尽管有超过 400 个独特的keys 和 reducer 的数量增加超过 30 应该会有所不同不是吗？

谁能帮助我了解这是否有任何特殊原因？

提前致谢

Answer 1

您没有观察到性能提升的原因有多种。当您进行此性能测试时，您正在运行哪些基准测试？还有你有多少映射器？你的工作有多大等等...

根据您在此处简要描述的内容，我们可以怀疑您没有足够的映射器和/或它们完成速度太慢。

请记住，reducer 只有在映射器有可用输出时才能开始工作。因此，您的 30 个 reducer 可能足以处理映射器的输出速度和大小，因此添加更多不会有任何区别，因为它们中的大多数都处于空闲状态，等待映射器完成并为 reducer 处理提供新数据.

希望对您有所帮助!