apache-kafka - 卡夫卡服务器中存储了多长时间的数据？

Question

假设我正在从kafka生产者向kafka消费者发送一些消息，那么它将存储在哪里？有用于存储消息的数据库吗？消息存储了多长时间？

谁能解释一下。

Answer 1

数据是从/从Kafka主题产生/消耗的。主题是Kafka提供记录流的核心抽象。主题类似于典型数据库中的表。

如果要将数据从Kafka移到数据库中(反之亦然)，则可以使用Confluent的捆绑连接器，该连接器可以import and export data from some of the most commonly used data systems.

关于可以将数据保留在主题中的期限，您需要查找保留策略和期限。

The Kafka cluster durably persists all published records—whether or not they have been consumed—using a configurable retention period. For example, if the retention policy is set to two days, then for the two days after a record is published, it is available for consumption, after which it will be discarded to free up space.

保留期限是一个可配置的参数，允许您将数据存储任意长的时间。例如，如果您配置以下参数；

log.retention.minutes=3
log.cleanup.policy=delete

将会在该主题中保留3分钟的消息。有关这些参数的更多详细信息，请查看 broker configuration parameters，您还可以在其中找到与主题保留相关的更多参数的信息(例如 log.retention.bytes， log.segment.bytes， log.retention.check.interval， log.roll.ms等)。

我的建议是从 official documentation中找到介绍性 Material 开始，以便能够大致了解Kafka的工作方式