apache-kafka - 镜像重新分区主题的大小不断增加

Question

我们正在使用 MirrorMaker 来备份主题。我们注意到，与源集群相比，由 Kafka Streams 应用程序创建的重新分区主题的大小似乎在目标集群中不断增加。根据 org.apache.kafka.streams.kstream.KStream#repartition() 的文档，这是有道理的:

Similar to auto-repartitioning, the topic will be created with infinite retention time and data will be automatically purged by Kafka Streams.

换句话说，由于我们没有在目标集群中运行 Kafka Streams 应用程序，因此不会发生自动清除。

我们的理解正确吗？我们如何确保在不丢失数据且目标集群大小不超过源集群大小的情况下备份源集群？

2021 年 12 月 1 日编辑:我们仍然有这个问题。 MirrorMaker 是否是正确的工具选择？我们是否需要考虑复制器或集群链接？

编辑 2022 年 8 月 30 日:我们得出结论，我们需要在镜像时排除重新分区主题。如果/当 Kafka Streams 应用程序使用镜像数据启动时，重新分区主题应该重新创建并在必要时使用，因为来自源主题的新输入数据被处理。请提供任何意见和想法。谢谢。

Answer 1

升级到 Kafka 3.1.1(从 2.7)导致使用目标集群中的其他设置创建重新分区主题，例如，cleanup.policy=delete,segment.bytes=52428800,retention.ms=-1 ,message.format.version=3.0-IV1,max.message.bytes=2000024 而不是 cleanup.policy=compact,segment.bytes=104857600,message.format.version=3.0-IV1,min .cleanable.dirty.ratio=0.25。我们必须删除主题才能使用新设置重新创建它们。