apache-kafka - 每个主题的日志保留字节不适用于 kafka

Question

我尝试使用以下命令为每个主题设置 log.retention.bytes

bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic app.test.client --config retention.bytes=10485760

通过执行验证配置设置

bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic 
app.test.client 
Topic:app.test.client   PartitionCount:3     ReplicationFactor:2     Configs:retention.bytes=10485760
    Topic: app.test.client  Partition: 0    Leader: 2       Replicas: 2,1   Isr: 2,1
    Topic: app.test.client  Partition: 1    Leader: 0       Replicas: 0,2   Isr: 0,2
    Topic: app.test.client  Partition: 2    Leader: 1       Replicas: 1,0   Isr: 1,0

我已将我的保留字节设置为 10MB -> 10485760。但是我的日志文件甚至在 10MB 之后还在增长。

$du -hs /mnt/kafka/logs/*
128M    /mnt/kafka/logs/app.test.client-1
128M    /mnt/kafka/logs/app.test.client-2

版本 卡夫卡 - 0.8.2.1

如何根据主题正确设置此设置？

Answer 1

Kafka 保留是在段级别进行的。这意味着，当 Kafka 超过保留边界(时间或大小)时，它将查找要删除的段，以便返回保留边界。如果retention.bytes小于segment.bytes，可能会遇到只有一个段的情况，也是当前使用的段，所以删除过程可能不完全按预期工作。

尝试将segment.bytes设置为小于retention.bytes的值。