java - kafka消费者组线程的线程顺序在每次启动时都不同

Question

我在 Spring Boot 2.1.4 上下文中使用 kafka-streams 2.0.1。 CONSUMER-ID 具有以下模式(自动生成的 kafka-streams!？):

<client.id>-StreamThread-<threadSequenceNumber>-<consumer|producer|restore-consumer> (source: StreamsConfig.java)

我发现，值:threadSequenceNumber在我的应用程序启动时并非每次都相同，因为我有两个由Beans提供的StreamThread。我已经尝试通过使用 @DependsOn 注释 bean 来强制执行正确的顺序。

每次当threadSequenceNumber改变时，最后的偏移量都会丢失。有人知道我如何强制执行正确的顺序吗？

Answer 1

您的观察是正确的。线程序列号由 Kafka Streams 创建。 Spring Boot对此无能为力。

请注意，此行为将在即将发布的 2.3 版本中发生变化:https://issues.apache.org/jira/browse/KAFKA-8285

Everytime when the threadSequenceNumber changes the last offsets are lost.

为什么会这样？偏移量是根据 application.id 提交的。