apache-spark - Spark Streaming - 如何在 updateStateByKey 函数中获取 "Key"

Question

我在 Spark Streaming 应用程序中使用 updateStateByKey 函数来持久化和更新每个键的状态。问题是我想知道 “ key ”在更新函数里面。

input.updateStateByKey(updateStateByKeyOfUsers)

def updateStateByKeyOfUsers(newUsers: Seq[Set[String]],
                          userStatus: Option[(#####)]
                           ): Option[(#####)] = {
   //How to get the "Key"
}

-道

Answer 1

一般来说，Spark API 不允许您获取 key 。这是相当可悲的。您有两种选择:要么在每个输入中包含一个键，要么将其包含在一个状态中。