linux - kafka logs + 如何限制日志大小

Question

在我的 ambari 集群中(版本 2.6)

我们有master机器和workers机器而 kafka 安装在 master 机器上

分区/data只有15Gkafka 日志文件夹是 - /data/var/kafka/kafka-logs

/data/var/kafka/kafka-logs下的大部分文件夹大小都是4K-40K

但是两个文件夹非常大 - 5G-7G ，这导致 /data 为 100%

例子:

在/data/var/kafka/kafka-logs/mmno.aso.prpl.proces-90下

12K     00000000000000000000.index
1.0G    00000000000000000000.log
16K     00000000000000000000.timeindex
12K     00000000000001419960.index
1.0G    00000000000001419960.log
16K     00000000000001419960.timeindex
12K     00000000000002840641.index
1.0G    00000000000002840641.log
16K     00000000000002840641.timeindex
12K     00000000000004260866.index
1.0G    00000000000004260866.log
16K     00000000000004260866.timeindex
12K     00000000000005681785.index
1.0G    00000000000005681785.log

是否可以限制日志的大小？或其他解决方案？我们有小的/data并且需要日志不应该是1G大小，如何解决？

Answer 1

Kafka 有许多用于限制日志大小的代理/主题配置。特别是:

• log.retention.bytes:日志删除前的最大大小
• log.retention.hours:日志文件在删除前保留的小时数

请注意，这些并不是硬性界限，因为删除是按段发生的，如以下所述:http://kafka.apache.org/documentation/#impl_deletes .这些也是每个主题。但是通过设置这些，您应该能够控制数据目录的大小。

参见 http://kafka.apache.org/documentation/#brokerconfigs log.retention.*/log.roll.*/log.segment.* 配置的完整列表