gpt4 book ai didi

hadoop - 如果 Reducer 的数量多于 Datanode 会发生什么

转载 作者:可可西里 更新时间:2023-11-01 16:23:01 25 4
gpt4 key购买 nike

如果我有 3 个数据节点,我将 Reducer Tasks 的数量设置为 4,在这种情况下会发生什么?第四个将待命,直到其中一个数据节点完成其 reducer 任务?或者它们中的两个将同时在同一个数据节点中运行?

最佳答案

添加到 Chaos 的答案中,如果您将 reduce 任务的数量设置为大于整个集群中用于 reduce 任务的插槽的数量,则只要先前的 reduce 插槽未被占用,剩余的 reduce 任务就会运行。

关于hadoop - 如果 Reducer 的数量多于 Datanode 会发生什么,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17841218/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com