apache-spark - 这些指标对 Spark Structured Streaming 意味着什么？

Question

spark.streams.addListener(new StreamingQueryListener() {
    ......
    override def onQueryProgress(queryProgress: QueryProgressEvent): Unit = {
        println("Query made progress: " + queryProgress.progress)
    }
    ......
})

当 StreamingQueryListener 添加到 Spark Structured Streaming session 并持续输出 queryProgress 时，您将获得的指标之一是 持续时间女士 :

Query made progress: {
  ......
  "durationMs" : {
    "addBatch" : 159136,
    "getBatch" : 0,
    "getEndOffset" : 0,
    "queryPlanning" : 38,
    "setOffsetRange" : 14,
    "triggerExecution" : 159518,
    "walCommit" : 182
  }
  ......
}​

谁能告诉我durationMs 中的这些子指标在spark 上下文中的含义是什么？比如“addBatch 159136”是什么意思。

Answer 1

https://www.waitingforcode.com/apache-spark-structured-streaming/query-metrics-apache-spark-structured-streaming/read

这是一个出色的网站，可以解决各个方面以及更多问题，因此将功劳归功于此网站。