elasticsearch - 如何使用Kafka将日志保留在logstash中更长的时间？

Question

目前，我使用redis-> s3-> flex 搜索-> kibana堆栈来管道显示我的日志。但是由于 flex 搜索中的大量数据，我最多可以保留7天的日志。

我想将kafka群集放入此堆栈中，并将日志保留更多天。我正在考虑以下堆栈。

应用程序节点将日志传送到kafka-> kafka集群-> flex 搜索集群-> kibana

如何使用kafka将日志保留更多天？

Answer 1

通过Apache Kafka broker configs查看，有两个属性可以确定何时删除日志。一个是时间，另一个是空间。

log.retention.{ms,minutes,hours}
log.retention.bytes

Also note that if both log.retention.hours and log.retention.bytes are both set we delete a segment when either limit is exceeded.

这两个指示何时在Kafka中删除日志。 log.retention.bytes默认为-1，我很确定将其保留为-1仅允许时间配置单独确定何时删除日志。

因此，要直接回答您的问题，请将log.retention.hours设置为您希望保留数据的小时数，并且不要更改log.retention.bytes配置。