gpt4 book ai didi

apache-spark - 在 EMR 中以集群模式运行 Spark 作业时,是否也可以在主节点中执行任务?

转载 作者:行者123 更新时间:2023-12-04 16:04:13 26 4
gpt4 key购买 nike

想象一下 EMR 中的两个场景:

  • 在单个节点上以本地模式运行 Spark 作业。
  • 以集群模式在小型两节点集群(主从)上运行相同的作业。

  • 我的问题是:完成这两项工作是否需要相似的时间?

    因为据我所知,主节点本身不执行任何任务,是真的吗?是否可以“启用”任务在小型集群的主节点中运行?

    最佳答案

    回答您的第一个问题,在给定场景中,性能取决于您在单节点和双节点集群中运行的执行程序数量。

    如果不。执行器的数量在两种情况下都保持不变,您将获得几乎相同的性能。会有细微的差异,因为在 2 节点集群中会有更多的网络和调度程序开销,这是最低限度的。

    在单节点集群中,您将拥有所有驱动程序、集群管理器和您的执行程序在同一节点上运行。这意味着同一个节点就像主节点和工作节点一样,在同一台机器上运行驱动程序和执行程序并执行任务

    关于apache-spark - 在 EMR 中以集群模式运行 Spark 作业时,是否也可以在主节点中执行任务?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52898520/

    26 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com