apache-kafka - 在 KAFKA 中消费后删除消息

Question

我正在使用 apache kafka 生成和使用大小为 5GB 的文件。我想知道是否有办法在消费后自动删除来自主题的消息。我有什么方法可以跟踪消费的消息吗？我不想手动删除它。

Answer 1

在 Kafka 中，被消费的东西的责任就是消费者的责任，这也是 Kafka 具有如此大的横向扩展性的主要原因之一。

使用高级消费者 API 将通过在 Zookeeper 中提交消耗的偏移量来自动为您执行此操作(或者一个特殊的 Kafka 主题使用更新的配置选项来跟踪消耗的消息)。

简单的消费者 API 使您可以自己处理如何以及在何处跟踪消费的消息。

Kafka 中的消息清除是通过为主题指定保留时间或为其定义磁盘配额自动完成的，因此对于一个 5GB 文件的情况，该文件将在您定义的保留期过后被删除，无论如果它已经被消耗了。