apache-kafka-streams - Kafka Streams 窗口存储保留重复项

Question

文档不清楚。我什么时候想将保留重复项设置为假/真。这是做什么用的？它是针对 RocksDB 中的特定内容吗？

https://kafka.apache.org/21/javadoc/org/apache/kafka/streams/state/Stores.html#persistentWindowStore-java.lang.String-java.time.Duration-java.time.Duration-boolean-

挖掘流内部代码似乎被用来设置一些序列号？

RocksDBWindowStore.java

private void maybeUpdateSeqnumForDups() {
    if (this.retainDuplicates) {
      this.seqnum = this.seqnum + 1 & 2147483647;
    }

Answer 1

好吧，顾名思义，如果您想使用相同的键存储多行，则可以启用存储重复项。对于窗口存储，键由记录键和窗口开始时间戳组成。

Kafka Streams 将此功能用于 KStream-KStream 连接。对于这种情况，每个输入记录都存储在商店中自己的窗口中(使用记录时间戳作为窗口开始时间戳)。因为可能有多个记录具有相同的键和相同的时间戳，所以需要启用此标志来计算正确的连接。否则，联接结果可能不完整。