gpt4 book ai didi

java - 调整正在运行的 EMR 集群的大小是否会加快现有正在运行的作业的执行速度

转载 作者:行者123 更新时间:2023-11-30 08:08:06 27 4
gpt4 key购买 nike

我正在运行一个具有 25 个节点的 EMR 集群,并且一个作业连续运行 15-20 分钟。我意识到还需要 30-40 分钟,因此我在集群中添加了 10 个任务节点。但我没有看到任何改善。

添加这些额外的任务节点是否会增加当前作业中的并发映射器执行,或者额外的节点将仅用于调整大小后启动的作业?

最佳答案

这取决于 MapReduce 作业的结构。如果有待处理的任务,则将使用附加节点。如果作业根据集群的原始大小确定其任务数量,则在提交新作业之前,添加节点不会产生影响。

关于java - 调整正在运行的 EMR 集群的大小是否会加快现有正在运行的作业的执行速度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30800296/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com