spark-streaming - Spark UI 输出操作持续时间与作业持续时间 : What's the difference?

Question

在 Spark UI 页面上，列:“Output Op Duration”和“Job Duration”有什么区别？

Answer 1

来自 Spark mailing list :

"意思是运行一个批处理的总时间，包括 Spark 作业的持续时间 +
花在司机身上的时间。例如。，

foreachRDD { rdd =>
   rdd.count() // say this takes 1 second.
   Thread.sleep(10000) // sleep 10 seconds
}

在上面的例子中，Spark 作业持续时间为 1 秒，输出操作
持续时间为 11 秒。”