Python如何删除Kafka主题下的所有消息

Question

我是卡夫卡的新手。我们正在尝试将数据从 csv 文件导入到 Kafka。我们需要每天导入，同时前一天的数据已被弃用。如何删除 python 中 Kafka 主题下的所有消息？或者如何删除 python 中的 Kafka 主题？或者我看到有人建议等待数据过期，如果可以的话如何设置数据过期时间？任何建议将不胜感激!

谢谢

Answer 1

您不能删除 Kafka 主题中的消息。您可以:

• 设置log.retention.* 属性，这基本上是消息的过期时间。您可以选择基于时间的过期(例如，保留 6 小时前或更新的消息)或基于空间的过期(例如，最多保留 1 GB 的消息)。参见 Broker config并搜索保留。您可以为不同的主题设置不同的值。
• 删除整个主题。这有点棘手，我不推荐这种方式。
• 每天创建一个新主题。类似于 my-topic-2015-09-21。

但我认为您根本不需要删除主题中的消息。因为您的 Kafka 消费者会跟踪已处理的消息。因此，当您阅读今天的所有消息时，Kafka 消费者会保存这些信息，明天您将只阅读新消息。

另一种可能的解决方案是 Log compaction .但它更复杂，可能不是你需要的。基本上，您可以为 Kafka 主题中的每条消息设置一个键。如果您使用相同的 key 发送两条不同的消息，Kafka 将只保留主题中的最新消息，并删除所有具有相同 key 的旧消息。您可以将其视为一种“键值存储”。具有相同键的每条消息只更新特定键下的值。但是，嘿，你真的不需要这个，仅供引用 :-)。