hadoop - 是否可以在 hadoop 中禁用排序？

Question

我的工作不需要排序，只需要每个键的聚合信息。所以我认为是否可以禁用所有信息的排序以提高性能。

---

注意:我无法将 reducer 计数设置为零，因为我需要在多个映射器之间聚合数据。我只是对一个 reducer 的排序结果不感兴趣。

Answer 1

对map输出进行排序的主要目的之一是，当元组到达reducer时，reducer必须使)调用reducer任务，使用排序后的map输出列表，它可以通过顺序扫描(当它看到不同的键然后只创建新列表)，如果映射输出未排序则它必须扫描整个列表以形成具有相同键的列表。