logging - 理解kafka log.dirs

Question

我有 Kafka 集群和log.dirs=/data/kafka设置为server.properties中的数据目录。由于这些日志占据了很大一部分，我的数据分区一直变满。(谈论主题目录中的二进制日志，如 000000000000000.log)我阅读了有关此参数的文档(log.dirs 保存日志数据的目录。如果不设置，则使用log.dir中的值)

我还没有完全理解它的意思此外，它们是否可以删除，应该配置哪些保留？是否建议将其与数据目录分开？谢谢

Answer 1

Kafka Topic 是一个或多个 Kafka 分区的逻辑分组。每个 kafka 分区本质上是磁盘上的(日志)文件。所以你发布kafka的数据，只存储在这些文件(日志)中。

log.dirs 告诉 kafka 在哪​​里创建这些文件。因此，无论何时您有一个新分区(通过增加现有主题的分区或完全创建一个新主题)，您都会在 log.dirs 中看到新文件。

您不应该手动删除此文件夹中的数据。使用 log.retention.hours 配置 Kafka 应保留您的数据多长时间。