apache-kafka - 使用 Kafka 的日志压缩，如果消费者没有落后于某个定义的时间限制，我该怎么做才能保证消费者不会错过消息？

Question

来自:http://kafka.apache.org/documentation.html#compaction ，很明显，如果我启用日志压缩，则无法保证日志的“头部”保留了什么。因此，假设我有消费者 - 例如:审计消费者，我如何确保我将所有消息至少保留(比如说)7 天，只有早于此的消息才有资格进行压缩？

没有暴露的配置 w.r.t log.compaction 允许我给出这样的保证。这可能吗？

Answer 1

这不能解决您的问题 - 将其设置为 7 天吗？

“日志清理器可以配置为保留最少数量的未压缩日志“头”。这是通过设置压缩时间延迟来实现的。

log.cleaner.min.compaction.lag.ms

这可用于防止比最小消息年龄更新的消息被压缩。”

(来自 http://kafka.apache.org/documentation.html#compaction)