scala - spark mapwithstate 如何访问基于多个微批处理构建的所有 key

Question

如何访问由多个微批处理构建的所有键的状态。

val stateSpec = StateSpec.function(stateUpdate _)
  .numPartitions(numPartitions)
  .timeout(Seconds(7200))
  // ... multiple steps....
  val sessionizedTuples =  endTimedTuples.mapWithState(stateSpec)
  // ..... multiple steps.....

我通过微批量成功地更新了 key 的状态，最终得到了很多 key 。获取所有键及其状态的方法是什么，以便我可以对它们应用一些 rdd 函数，我看到的所有方法都是微批级别的，而不是随着时间的推移构建的整个集合。

Answer 1

尝试

val state = sessionizedTuples.stateSnapshots()

stateSnapshots :返回一对 DStream，其中每个 RDD 都是所有键状态的快照。