spring-cloud-stream - Spring Cloud stream kinesis binder 消费者群体 - kcl vs dynamodb store

Question

使用消费者组管理的建议解决方案是什么。据我了解有两种方法

1) 使用 DynamoDbMetadataStore 和 DynamoDbLockRegistry

2)使用AWS提供的kpl kcl特性？参见 https://spring.io/blog/2019/05/13/spring-integration-aws-2-2-ga-and-spring-cloud-stream-kinesis-binder-1-2-ga-available默认情况下，kpl kcl 被禁用。

这两种解决方案的优缺点是什么？

Answer 1

@维索

凭借我在 Spring Cloud Stream Kinesis binder 方面的短暂经验。

方法一。

如果您的 Kinesis 流动态更新分片/在自动缩放时创建额外的消费者。 - 没有发生再平衡。在某些情况下，所有分片都被单个消费者锁定。

方法 2:

KPLKCL 使用 AWS 的 KCL 1.x。

它适用于动态缩放和重新平衡。

注意:您可能会看到当前版本 2.0.2 的 dynamodb 自动表创建问题(我正在使用 2.1.0 - 当前)