apache-kafka - 保留配置偏移量.retention.minutes和log.retention.minutes之间的差异

Question

以下两种保留配置之间有什么区别？


offsets.retention.minutes
log.retention.minutes


我不知道它有什么不同或相互联系。据我了解，一旦偏移量被删除，日志中的记录就无法访问，反之亦然。我有误会吗？

Answer 1

偏移量是指向消费者已使用的最新消息的指针。因此，如果您阅读10条消息，则偏移量将移动10位。 offsets.retention.minutes允许您将偏移量移回起始位置（如果在设定的时间段内未更改）。

为了使其形象化，我们假设我们在不同的时间将字母a到g（按顺序）放入Kafka主题中。在开始使用消息之前，偏移量指向最早的消息：

OFFSET:    *
MESSAGES:  a b c d e f g

现在我们消耗了3条消息（ a， b， c），因此偏移量移动了：

OFFSET:          *
MESSAGES:  a b c d e f g

现在，假设我们设置了 log.retention.minutes=10，并在11分钟前将 a和 b放入了主题，但是其他消息是在最近插入的。我们会看到：

OFFSET:          *
MESSAGES:      c d e f g

现在让我们设置 offsets.retention.minutes=1，并假设距上次消耗任何东西已经90秒了。我们会看到：

OFFSET:        *  
MESSAGES:      c d e f g

因为 c现在是该主题上最早的消息（也是将要使用的第一条消息）。