hadoop - Hadoop MR 应用程序中 Reducer 的动态数量

Question

提交作业后，有什么方法可以设置 reduce task 的数量吗？比如我需要根据start alphabet收集英文单词，我可以直接设置reduce tasks的数量为26。但是万一出现无法预先确定所需reducer数量的情况，有没有什么办法可以完成要求？这里的要求与集群上的节点数量无关，它只取决于正在处理的键。举例来说，每次遇到新键时，reducer 的数量都会增加一个。在此先感谢您的支持。

Answer 1

Is there any means to set the number of reduce tasks once a job is submitted?

没有

For example if I need to collect English words based on start alphabet, I can directly set the number of reduce tasks as 26.

即使在上述场景中，您也不需要 26 个 reducer，而只需 1 个 reducer。 Hadoop 框架为每个键一次又一次地调用 reduce 函数。 MultipleOutputFormat可用于根据键/值对(第一个字母表)将单词写入不同的文件。

作业的 reducer 数量标准应该是它正在处理的数据量。另外，请记住，花费最多时间的 reducer 将决定完成作业的时间。