gpt4 book ai didi

hadoop - 为什么即使使用单个 reducer 也会调用 Partitioner

转载 作者:可可西里 更新时间:2023-11-01 14:50:00 25 4
gpt4 key购买 nike

如果我们将 MR Job 配置为仅使用单个 reducer 运行,那么似乎不需要调用 Partitioner 是合乎逻辑的。

不过,我只是试了一下,看起来即使作业配置了单个 reducer ,分区程序也会被调用。

知道为什么需要这样做吗?

最佳答案

这是因为将键/值对分配给特定的 reducer 是扮演分区器角色的类的责任。即使只有一个 reducer,你仍然需要一个分区器来将键/值对分配给那个 reducer。

任何默认值的存在或 if-there's-only-one-reducer 逻辑有效地将分区分配行为分配到分区程序之外的地方,这不是真正好的 OO 设计。

关于hadoop - 为什么即使使用单个 reducer 也会调用 Partitioner,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23082999/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com