gpt4 book ai didi

apache-spark - 主节点是否在 Spark 中执行实际任务?

转载 作者:行者123 更新时间:2023-12-04 04:23:02 26 4
gpt4 key购买 nike

我的问题听起来可能很愚蠢,但它困扰了我很长时间。

enter image description here

上图是一个分布式Spark应用的组件。我认为这张图表明 ma​​ster node 永远不会执行实际任务,而只是充当集群管理器。是真的吗?

对了,这里的tasks是指用户提交的任务。

最佳答案

是的,主节点执行驱动进程,不运行任务。任务在工作节点上的执行程序进程中运行。从 CPU 的角度来看,主节点很少有压力,但根据广播变量、累加器和 collect 的使用方式,它可能会在 RAM 使用方面承受很大压力。

关于apache-spark - 主节点是否在 Spark 中执行实际任务?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38675059/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com