apache-kafka-streams - Kafka Streams 使用最大计数的定时窗口方法

Question

我有一个处理短信的系统。每条消息被分成句子，每个句子被单独处理，每个句子的结果被发布到一个主题。这一切都是异步发生的。

我希望能够汇总句子的结果。

问题是我希望窗口在达到句子总数或总时间过去后结束。基本上是 Tumbling 时间窗口，但可以在收到总结果数时结束。

其次，我希望能够知道该窗口何时结束，以便我可以将聚合处理为原子事件。

Answer 1

这是可能的，但您必须实现自定义处理器 - 您的要求只是特定于要满足的高级 API。

您的处理器会将消息存储到状态存储中，并使用 punctuate 定期检查窗口是否过期。它还将保留一个运行计数器并检查是否已收到最大数量的结果。如果满足任一条件，它就会进行聚合，从状态存储中删除消息并将结果发送到下游。

您必须考虑重新启动时要做什么(故障转移/重新平衡)。启动时，处理器应检查其状态存储并计算当前运行计数和窗口到期时间。