apache-kafka - 为什么.index文件存在于kafka-log目录中？

Question

我刚刚提出了一个新主题，但尚未产生任何消息。
在目录00000000000000000000.index中创建了一个以/tmp/kafka-logs-1/topicname-0/命名的文件，该文件的大小确实很大。
我在vi中打开了该二进制文件，其内容仅为“ 0000 0000 0000 0000 ...”
这是什么意思？这个索引文件是关于什么的？

Answer 1

日志的每个段（文件* .log）都有对应的索引（文件* .index），它们的名称与代表基本偏移的名称相同。

为了理解，日志文件包含以消息格式构造的实际消息。对于此文件中的每个消息，前64位描述递增的偏移量。现在，由于日志文件可能会在千兆字节范围内增长，因此在此文件中查找具有特定偏移量的消息变得很昂贵。为了产生消息，代理实际上必须进行这种查找以确定最新的偏移量，并能够进一步正确地增加传入消息。

这就是为什么有索引文件的原因。首先，索引文件中消息的结构仅描述2个字段，每个字段32位长：


4个字节：相对偏移
4字节：物理位置


如前所述，文件名代表基本偏移量。与每个消息的偏移量增加的日志文件相比，索引文件中的消息包含相对于基本偏移量的相对偏移量。
第二个字段表示相关日志消息的物理位置（基本偏移量+相对偏移量），因此可以查找O（1）。

毕竟要提到的是，并不是日志中的每条消息在索引中都有其对应的消息。配置参数index.interval.bytes（默认情况下为4096字节）设置了索引间隔，该间隔基本上描述了索引条目的添加频率（在多少字节之后）。

关于.index文件大小的问题，有以下说法：配置参数segment.index.bytes（默认为10MB）描述了此文件的大小。该空间已重新分配，只有在日志滚动后才会缩小。