apache-kafka - 卡夫卡流 : Is it possible to have "compact,delete" policy on state stores?

Question

默认情况下，Kafka Streams 状态存储是“紧凑的”。是否可以在状态存储中使用保留策略设置“压缩，删除”？

Answer 1

是的，可以使用保留和压缩来配置主题，Kafka Streams 将此设置用于窗口 KTable s。

如果你真的想设置这个，你可以在创建后手动更新相应的更改日志主题配置。

但是，为变更日志主题设置主题保留时间只会从主题中删除数据。数据是未删除在本地的国家商店。 State store 不提供 TTL 并且 RocksDBs TTL 设置无法启用(出于我们希望最终解决的技术原因)。

如果你想干净地删除数据，你应该使用墓碑消息从存储中删除数据以及更改日志主题(而不是使用保留时间)。