gpt4 book ai didi

hadoop - 在 Hadoop mapreduce 中,是否所有映射器都需要与所有缩减器进行通信?

转载 作者:可可西里 更新时间:2023-11-01 16:32:06 25 4
gpt4 key购买 nike

在 mapreduce 中,我知道映射器不会相互通信。但是是否所有映射器都需要与所有 reducer 进行通信?

最佳答案

这取决于映射器生成的键集。如果它不产生任何需要由特定 reducer 处理的键,它可能根本不需要与该 reducer 通信。但是 mapper 生成的键通常取决于它的输入,并且输入可能因作业而异,因此对于某些作业,每个 mapper 可能(甚至可能)需要将数据发送到每个 reducer。

关于hadoop - 在 Hadoop mapreduce 中,是否所有映射器都需要与所有缩减器进行通信?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26006974/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com