apache-kafka - 每个主题的 Kafka 保留.bytes 和全局 log.retention.bytes 不起作用

Question

我们正在运行 kafka 0.11.0 的 6 节点集群。我们以字节为单位设置了全局和每个主题的保留，这两个都没有被应用。我在日志中看不到任何错误，只是没有删除任何内容(按大小；时间保留似乎确实有效)

请参阅下面的相关配置:

./config/server.properties :

# global retention 75GB or 60 days, segment size 512MB
log.retention.bytes=75000000000

log.retention.check.interval.ms=60000

log.retention.hours=1440

log.cleanup.policy=delete

log.segment.bytes=536870912

主题配置(30GB):

[tstumpges@kafka-02 kafka]$ bin/kafka-topics.sh  --zookeeper zk-01:2181/kafka --describe --topic stg_logtopic
Topic:stg_logtopic    PartitionCount:12       ReplicationFactor:3     Configs:retention.bytes=30000000000
        Topic: stg_logtopic   Partition: 0    Leader: 4       Replicas: 4,5,6 Isr: 4,5,6
        Topic: stg_logtopic   Partition: 1    Leader: 5       Replicas: 5,6,1 Isr: 5,1,6
        ...

而且，磁盘使用情况显示一个分区的使用量为 910GB!

[tstumpges@kafka-02 kafka]$ sudo du -s -h /data1/kafka-data/*
82G     /data1/kafka-data/stg_logother3-2
155G    /data1/kafka-data/stg_logother2-9
169G    /data1/kafka-data/stg_logother1-6
910G    /data1/kafka-data/stg_logtopic-4

我可以看到分区目录中有很多段日志文件(每个 512MB)......这是怎么回事？!

提前致谢，
雷

Answer 1

通过 kafka 用户邮件列表找到了答案。我们显然遇到了 kafka 错误 KAFKA-6030 ( Integer overflow in log cleaner cleanable ratio computation )

升级到 v1.0.0 已经为我们解决了这个问题!