apache-kafka - 如何将 kafka 主题迁移到日志压缩？

Question

我们有一个 Kafka 主题，当前正在删除 cleanup.policy。已针对此主题生成的消息没有 key 。我可以更改此主题的配置，并且它不会在没有 key 的情况下接受任何新消息，这是合理且需要的。

不过，我想知道 Kafka 将如何处理这些旧的无 key 消息。他们会被当作拥有一把 key 一样对待，还是不会受到新的清理政策的影响？

是否有迁移的最佳实践，我无法找到相关信息。这是一个不寻常的用例吗？

提前致谢

Answer 1

我已经在我的 Kafka 集群中进行了一些测试，并为以后的问题回答了这个问题:

没有 key 的消息将被删除

如果您不添加新消息，您可能会在分区中得到一些旧消息，因为它们“在最后一部分”。当您添加新消息时，它们将被删除

我想我会引入一个新的压缩主题并将我的数据重新发布到新主题。这会导致所有消费者消费一个新主题，但在我的情况下这是可以的。

祝我 future 好运