java - 以固定的时间间隔消耗来自输入流的消息

Question

我正在使用流监听器来使用来自 amazon kinesis 流的消息。

@StreamListener(Processor.Input)
public void receiveMessage(String message) {
  //process    
}

1. 是否可以实现一个监听器，每 10 分钟从输入流获取一次所有消息
2. 当存在消费者群体时，它会如何表现。 Consumer组中的所有容器是否得到不同的消息列表。

我尝试使用@Poller，但它没有任何输入 channel 。

对此的任何帮助都会很棒。

Answer 1

AWS Kinesis 没有这样的轮询使用者实现。但是您可以使用这样的组合来模拟它:

listenerMode = batch

您将在 @StreamListener 中收到有效负载作为List<com.amazonaws.services.kinesis.model.Record>

recordsLimit默认为10000 。我认为这应该足以进行尽可能多的民意调查。

idleBetweenPolls = 600000 / 10 mins

您不会比此选项更早进入下一批。

不，组中的每个消费者都会获得自己的列表。但这不符合您最初对所有内容进行轮询的要求。因此，同一组中的所有其他消费者都会闲置 - 没有什么可以轮询他们!