hadoop - 当分区值大于reduce任务数时会发生什么？

Question

例如，在map reduce程序中，我给的reduce任务数为3，自定义分区程序针对条件返回value 5，然后会发生什么？

它是一个愚蠢的问题，请澄清一下

提前致谢

Answer 1

您的问题有两个方面。

如果分区少于 reducer ，那么 reducer 将被浪费。因此，您没有充分利用它们。

如果分区大于reducer，那么根据Hadoop权威指南，该记录将被丢弃。意味着没有 reducer 会捡起它，而它消失了。