apache-kafka - 如何在Kafka中实现强一致性？

Question

尝试了解Kafka中的一致性维护。请找到方案并帮助理解。

 Number of partition  = 2 
    Replication factor = 3 
    Number of broker in the cluster = 4 

在那种情况下，为了实现强一致性，应确认多少个节点。 ack = all或 ack = 3或任何其他值。请确认相同。

Answer 1

您可能会对在Kafka Summit上看到When it Absolutely, Positively, Has to be There讲话感兴趣。

这是由Cloudera的工程师和Cloudera has their own documenation on Kafka availability提供的

总而言之，一个以上的副本和高于1个的同步副本是一个好的开始。然后在生产者上，如果可以牺牲吞吐量以提高数据可用性，这意味着您必须先写入所有副本，然后再继续acks=all。否则，如果您相信领导者经纪人在不洁的领导者选举中具有很高的可用性，那就是错误的，那么在大多数情况下，acks=1应该可以。

顺便说一句，acks=3不是有效的配置。我认为您正在寻找min.insync.replicas=2和acks=all的复制因子；从上面的链接

If min.insync.replicas is set to 2 and acks is set to all, each message must be written successfully to at least two replicas. This guarantees that the message is not lost unless both hosts crash

此外，您还可以使事务生产者(从Kafka 0.11开始)能够朝着正好一次处理的方向工作

enable.idempotence=true