gpt4 book ai didi

apache-spark - 了解各个阶段的 Spark 终端输出

转载 作者:行者123 更新时间:2023-12-03 07:22:03 26 4
gpt4 key购买 nike

我是 Spark 新手,正在尝试了解其阶段在我的终端上的日志输出。我正在本地计算机上处​​理非常大的数据集,在操作过程中,我会看到类似以下内容的内容:

[Stage: 4 ==>           (10 + 4) / 200]

我知道阶段是对 RDD 发生的所有操作,但是最后的数字呢?它们代表任务吗?

(10 + 4) / 200] 
  • 10完成的任务数量?
  • 4运行的并发任务数(即我的机器上的核心数?)
  • 200此阶段的任务总数?

最佳答案

它称为控制台进度栏。对于提到的阶段,以下是数字的含义,

[(numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage]

希望这有帮助,干杯。

关于apache-spark - 了解各个阶段的 Spark 终端输出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40197396/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com