gpt4 book ai didi

Hadoop映射过程

转载 作者:可可西里 更新时间:2023-11-01 16:54:19 26 4
gpt4 key购买 nike

如果有一个job只有map没有reduce,如果所有要处理的data value映射到一个key,这个job会不会只在一个node上处理?

最佳答案

没有。基本上,节点的数量将由映射器的数量决定。 1 个映射器将在 1 个节点上运行,N 个映射器将在 N 个节点上运行,每个映射器一个节点。您的作业所需的映射器数量将由 Hadoop 设置,具体取决于数据量以及您的数据将被拆分的 block 的大小。每个数据 block 将由 1 个映射器处理。因此,例如,如果您有大量数据,被分成 N 个 block ,您将需要 N 个映射器来处理它。

关于Hadoop映射过程,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30679725/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com