apache-kafka - 为什么Kaka Streams repartition topic的retention.ms默认设置为-1？这不是无限保留重新分区主题中的消息吗？

Question

我认为这与以下链接有关，但我不明白。

• https://issues.apache.org/jira/browse/KAFKA-6535
• https://issues.apache.org/jira/browse/KAFKA-6150
• Kafka Streams deleting consumed repartition records, to reduce disk usage

可以为kafka streams内部主题提供主题配置，如“retention.ms”、“cleanup.policy”，如*-changelog主题，以删除无用的日志。

但是当涉及到像 *-repartition 主题这样的内部主题时，无法提供主题配置值，即使 repartition 主题的默认“retention.ms”是“-1”，这意味着无限保留。如何删除或管理重新分区主题？否则重新分区主题的大小将太大，可能会出现磁盘故障问题。

如何管理重新分区主题？什么是清除数据？在文档中找不到任何相关解释。

Answer 1

事实

重新分区主题的
• retention.ms 默认为 -1，并且无法在 kafka-streams 客户端代码中覆盖此值。

我误解了什么

• 重新分区主题的大小将无限增加，因为重新分区主题的 retentions.ms 为 -1。

纠正误解

• StreamThread 类中有一个名为maybeCommit 的方法。
• maybeCommit 方法在处理流记录的循环内迭代调用。
• 在 maybeCommit 方法(版本 2.7.1)中，有如下注释。

  try to purge the committed records for repartition topics if possible

  • https://github.com/apache/kafka/blob/2.7.1/streams/src/main/java/org/apache/kafka/streams/processor/internals/StreamThread.java#L923-L926
• 基于此，我的理解是，当重新分区主题中的记录流式传输到更改日志主题时，已发送的记录会定期清除。
• 因此，无需为重新分区主题清除或管理retention.ms。

引用

• https://issues.apache.org/jira/browse/KAFKA-6150

如果我错了，请发表评论或更正。