gpt4 book ai didi

hadoop - Data locality 概念是否也适用于 Reducers?

转载 作者:可可西里 更新时间:2023-11-01 15:55:48 26 4
gpt4 key购买 nike

我的理解:

数据局部性的概念仅适用于 Mapper,因为它处理输入文件。

Reducers 在处理时是否也会使用 Data locality 概念?

数据局部性:

数据局部性是指通过对数据进行计算而不是从其位置请求数据来处理数据所在的位置。

  1. 在计算数据时,Mappers 和 Reducers 会工作。

  2. 映射器在计算数据时使用数据局部性。

  3. Reducers 将输入作为 Mappers 的输出。

假设Mappers输出(中间数据)存储在不同的数据节点。

Reducers 在计算时是否使用数据局部性?

最佳答案

不,数据局部性概念仅适用于 MAPPERS。

Reducer 是根据 partitoner 逻辑分配的(在 MAP 输出的唯一键上)

关于hadoop - Data locality 概念是否也适用于 Reducers?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44528142/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com