apache-spark - 在 Spark 流中聚合来自不同微批处理的数据

Question

我正在尝试每分钟使用 Spark 流(从 Kafka 读取)来汇总和查找一些指标。我能够汇总那一分钟的数据。我如何确保我可以拥有当天的存储桶并汇总当天所有分钟的所有聚合值？

我有一个数据框，我正在做类似的事情。

sampleDF = spark.sql("select userId,sum(likes) as total from likes_dataset group by userId order by userId")

Answer 1

您可以使用结构化流编程中的“Watermarking”功能

示例代码

import spark.implicits._

val words = ... // streaming DataFrame of schema { timestamp: Timestamp, word: String }

    val windowedCounts = words
        .withWatermark("timestamp", "10 minutes")
        .groupBy(
            window($"timestamp", "10 minutes", "5 minutes"),
            $"word")
        .count()