apache-kafka - Kafka 生产者在网络分区期间如何表现？

Question

我的理解是 Kafka 生产者向 Kafka 代理集群发送消息。我的问题是，在网络分区期间，kafka 生产者的行为是什么？如果分区太长(音量太大)，最终消息会丢失吗？

另外，如果分区时系统崩溃了，kafka队列中的消息是不是都丢失了？

Answer 1

根据 Ludd 的评论回答。根据链接中的视频，它们不支持在发生分区(或代理中断)时溢出到磁盘。提到了一个“Go”客户端，它做了别人写的这样的事情。目前没有计划开发此 Producer 功能；他们目前的重点是集群和消费者。

视频中提到这不是他们的优先事项，至少出于某种原因对“滞后数据”如此。我想 Kafaka 的很多用例都是基于实时的，所以如果生产者断开连接几个小时，那么获得几个小时前的突发数据将是“奇怪的”。

猜猜这是有道理的，因为那样的话您的消费者将不得不以某种方式处理那些滞后的数据(即，这是一个应用程序问题)。