hadoop - hadoop reducer 的 reduce() 调用可以接收的最大记录数是多少？

Question

我有一个映射器，它的输出通过使用我自己的分区器映射到多个不同的缩减器实例。我的分区程序确保始终将给定发送到给定的 reducer 实例。我想知道的是，如果由于某种原因，输入数据是倾斜的，并且我得到了一个特定键的一百万条记录(更准确地说，#records 无法放入内存)，reducer 是否有任何可能的方式还可以正常工作吗？我的意思是，传递给 reducer 的 hadoop 可迭代对象是惰性加载程序吗？

Answer 1

与 Reducer 关联的值的唯一实际限制是本地磁盘上的可用空间，包括 Map 和 Reduce 端。这可以通过添加更多节点并因此添加更多 Map/Reduce 任务来管理，具体取决于您的偏差。

是的，迭代器从内存和磁盘的组合中加载值。