hadoop - Hadoop如何决定不。给定方案的 reducer 运行？

Question

Hadoop如何决定不。 reducer 运行是否有特殊问题？它在什么基础上决定像分区编号或否。集群大小之类的？
在问题下方解释-我有640MB输入文件，块大小为64MB。我的群集大小为5节点群集。我已将输入文件写入10个数据块的HDFS中。如果我为写入的输入文件运行wordcount程序，请告诉我将运行多少个Mappers和多少个reducer。

Answer 1

映射数取决于IputFormatClass的选择。默认情况下，它是TextInputFormat类，它将创建与块数相同数量的映射。如果只有最后一个记录被分成两个块，则将是一个异常(exception)(在这种情况下，映射数将是块数减去一)。数字减少器是一种配置选择，甚至可以在提交作业期间指定。默认情况下，reducer的数量为一。