gpt4 book ai didi

apache-spark - 应用程序中的阶段是否在 spark 中并行运行?

转载 作者:行者123 更新时间:2023-12-04 14:24:09 25 4
gpt4 key购买 nike

我有一个疑问,阶段如何在 Spark 应用程序中执行。可以由程序员定义的阶段的执行是否有任何一致性,或者它是否会由 Spark 引擎派生?

最佳答案

检查此图片中的实体(阶段、分区):

enter image description here

pic credits

Does stages in a job(spark application ?) run parallel in spark?



是的,如果没有顺序依赖性,它们可以并行执行。

这里的 Stage 1 和 Stage 2 分区可以并行执行,但 Stage 0 分区不能并行执行,因为必须处理 Stage 1 & 2 中的依赖分区。

Is there any consistency in execution of stages that can be defined by programmer or will it derived by spark engine?



阶段边界由何时 定义数据混洗发生在分区之间 . (检查图片中的粉红色线条)

关于apache-spark - 应用程序中的阶段是否在 spark 中并行运行?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41340612/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com