apache-kafka - kafka data log dir下有哪些不同的日志

Question

我正在尝试了解 kafka 数据日志。我可以看到在 logs.dir 中设置的目录下的日志为“Topicname_partitionnumber”。但是我想知道它下面捕获的不同日志是什么。以下是示例日志的屏幕截图。

Answer 1

在Kafka日志中，每个分区都有一个log.dir目录。每个分区被分成多个段。
段只是消息的集合。 Kafka 不是将所有消息写入单个文件，而是将它们拆分为多个段。
每当 Kafka 写入分区时，它都会写入事件段。每个段都有定义的大小限制。当达到段大小限制时，它会关闭该段并打开一个变为事件的新段。根据配置，一个分区可以有一个或多个段。
每个段包含三个文件 - segment.log、segment.index 和 segment.timeindex
每个 Kafka 主题分区有三种类型的文件:

-rw-r--r-- 1 kafka hadoop  10485760 Dec  3 23:57 00000000000000000000.index
-rw-r--r-- 1 kafka hadoop 148814230 Oct 11 06:50 00000000000000000000.log
-rw-r--r-- 1 kafka hadoop  10485756 Dec  3 23:57 00000000000000000000.timeindex

00000000000000000000日志和索引文件前面是段的名称。它表示写入该段的第一条记录的偏移量。如果有 2 个段，即段 1 包含消息偏移量 0,1，段 2 包含消息偏移量 2 和 3。

-rw-r--r-- 1 kafka hadoop  10485760 Dec  3 23:57 00000000000000000000.index
-rw-r--r-- 1 kafka hadoop 148814230 Oct 11 06:50 00000000000000000000.log
-rw-r--r-- 1 kafka hadoop  10485756 Dec  3 23:57 00000000000000000000.timeindex
-rw-r--r-- 1 kafka hadoop  10485760 Dec  3 23:57 00000000000000000002.index
-rw-r--r-- 1 kafka hadoop 148814230 Oct 11 06:50 00000000000000000002.log
-rw-r--r-- 1 kafka hadoop  10485756 Dec  3 23:57 00000000000000000002.timeindex

.log文件存储偏移量、消息的物理位置、时间戳以及消息内容。在以特定偏移量从 Kafka 读取消息时，在巨大的日志文件中找到偏移量成为一项昂贵的任务。
那就是 .index该文件变得有用。它将消息的偏移量和物理位置存储在日志文件中。
.timeindex该文件基于消息的时间戳。