spring-integration - 如何将特定的kafka消费者分配给特定的分区

Question

我有一个包含 2 个分区的“主题”。

topic-0
topic-1

我有2个输入消息 channel

input0
input1

具有相同的目标“主题”和相同的组。

我的理解是，由于是同一个组，每个主题都会自动分配一个分区。

是否可以将特定分区分配给特定消息 channel ？

Answer 1

您可以使用消费者的 auto-rebalance 将特定分区分配给 Kafka 消费者与适当的 instanceCount 一起禁用和 instanceIndex属性。

例如，在您的情况下，


--spring.cloud.stream.bindings.input0.consumer.instanceCount=2 --spring.cloud.stream.bindings.input1.consumer.instanceCount=2 --spring.cloud.stream.bindings.input0.consumer.instanceIndex=0 --spring.cloud.stream.bindings.input1.consumer.instanceIndex=1 --spring.cloud.stream.bindings.input0.group=mygroup --spring.cloud.stream.bindings.input1.group=mygroup --spring.cloud.stream.kafka.bindings.input0.consumer.autoRebalanceEnabled=false --spring.cloud.stream.kafka.bindings.input1.consumer.autoRebalanceEnabled=false --spring.cloud.stream.bindings.input0.destination=topic --spring.cloud.stream.bindings.input1.destination=topic


以上配置将使用 partition 基于模数为每个消费者分配主题分区(绑定(bind)输入 channel 时) , instanceCount和 instanceIndex值(value)观。