apache-spark - Spark-Shell中进度条上的数字是什么意思？

Question

在我的 Spark-Shell 中，当我执行函数时，下面的条目意味着什么？

[Stage7:===========>                              (14174 + 5) / 62500]

Answer 1

你得到的是一个控制台进度条，[Stage 7: 显示您现在所处的阶段，并且(14174 + 5)/62500] 为 (numCompletedTasks + numActiveTasks)/totalNumOfTasksInThisStage]。进度条显示 numCompletedTasks/totalNumOfTasksInThisStage。

当 两者 spark.ui.showConsoleProgress 为 true(默认情况下)和 conf/中的日志级别时显示log4j.properties 为 ERROR 或 WARN(!log.isInfoEnabled 为 true)。

让我们看看 ConsoleProgressBar.scala 中的代码这表明了这一点:

private def show(now: Long, stages: Seq[SparkStageInfo]) {
  val width = TerminalWidth / stages.size
  val bar = stages.map { s =>
    val total = s.numTasks()
    val header = s"[Stage ${s.stageId()}:"
    val tailer = s"(${s.numCompletedTasks()} + ${s.numActiveTasks()}) / $total]"
    val w = width - header.length - tailer.length
    val bar = if (w > 0) {
      val percent = w * s.numCompletedTasks() / total
      (0 until w).map { i =>
        if (i < percent) "=" else if (i == percent) ">" else " "
      }.mkString("")
    } else {
    ""
    }
    header + bar + tailer
  }.mkString("")

  // only refresh if it's changed of after 1 minute (or the ssh connection will be closed
  // after idle some time)
  if (bar != lastProgressBar || now - lastUpdateTime > 60 * 1000L) {
    System.err.print(CR + bar)
    lastUpdateTime = now
  }
  lastProgressBar = bar
}