json - Spark Streaming 滑动窗口的最大值和最小值

Question

我是 Spark 的初学者；我正在处理 spark 流用例，其中我收到一条 json 消息，每个 json 消息都有一个属性“值”，在解析 json 后它是双倍的我得到一个数组 [Double]。我想找出最大值(值)和最小值(值) 最后 15 秒，滑动窗口为 2 秒。这是我的代码。

val record = KafkaUtils.createStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicMap, StorageLevel.MEMORY_ONLY_SER_2)
val lines=record.map(_._2)

val valueDtsream:DStream[Array[Double]]=lines.map { jsonRecord => parseJson(jsonRecord) }
                            .window(Seconds(15),Seconds(2))

      valueDtsream.foreachRDD
      {
         rdd => 
           if (!rdd.partitions.isEmpty)
           {
               //code to find min and max
           }
      }

ssc.start()
ssc.awaitTermination()

Answer 1

尝试:

valueDtsream.transform( rdd => {
  val stats = rdd.flatMap(x => x).stats
  rdd.sparkContext.parallelize(Seq((stats.min, stats.max)))
})