apache-kafka-streams - 如何在固定大小的基于计数的滑动窗口上进行聚合？

Question

如何使用固定大小的基于计数的窗口实现滑动窗口聚合(或转换)？

例如:如果我有如下流数据

input stream = 1,2,3,4,5,6,7,8...

假设时间在这里无关紧要。并说我的聚合函数是 AVERAGE 并且窗口大小固定为 3 条记录(不是 3 毫秒、3 秒、3 小时等)，我希望我的输出流为

output stream = avg(1,2,3), avg(2,3,4), avg(3,4,5), avg(4,5,6), avg(5,6,7)... = 2,3,4,5,6...

Kafka 流工作中记录的 Windows 是“基于时间的”。甚至基类 Window 的构造函数也具有以下签名:

Window(long startMs, long endMs)

所以我不确定它是否是正确的工具 非基于时间 窗口聚合。

Apache Flink 支持 count-based sliding and tumbling windows .这正是我所需要的，但我正在 Kafka Streams 中寻找类似的功能。

Answer 1

如果您不关心时间排序，您可以实现自定义 Transformer与附加状态。

StreamsBuilder builder = new StreamsBuilder();
builder.addStoreStore(...); // add KeyValueStore here
KStream result = builder.stream("topic").transform(...); // pass in name of your KeyValueStore, too

为您定制 Transformer您可以维护一个 List每个键，列表是你的窗口——只要列表小于你的窗口大小，你就将新记录附加到列表中——如果它正好是大小，你就会触发计算——如果它超过了大小，你修剪它并在之后触发计算。

有关更多详细信息，请参阅文档: https://kafka.apache.org/10/documentation/streams/developer-guide/processor-api.html (请注意， Processor 和 Transformer 基本上是一回事。)