messaging - 如何确保多个竞争消费者的消息幂等性？

Question

我有多个分布式竞争消费者，每个消费者都从同一个(事务性)队列中提取消息。我想将每个消费者实现为 Idempotent Receiver所以即使重复到达，我也不会多次处理相同的消息(跨所有消费者)。我怎样才能与多个消费者一起实现这一目标？

我的第一个想法是在将每个消息放入队列之前以某种方式为它们生成一个连续的序列号，然后使用共享数据库表来协调消费者之间的工作。 IE。消费者#1 处理 msg#1，然后将一行写入数据库表，说“msg#1 已处理”(希望它在数据库中以确保持久性)。当消费者准备好处理消息时，它会查看队列中的下一个可用消息，查询共享数据库表并确定这是否是按顺序的下一个消息。如果是这样，它会将其从队列中拉出。如果没有，它会忽略它。

这样，我只需要存储处理的最后一条消息(因为所有消息都有一个连续的序列号)，我不需要使用一个缓冲区来存储通过协商的“窗口”大小接收的所有消息的 ID，并且消息总是串行处理(这是我想要的这种情况)。

只是好奇是否有更好的方法？我担心每当我需要处理消息时查询数据库的成本。

如果答案是“这取决于框架”，那么我就想到了 MSMQ

Answer 1

幂等接收器的要点是，如果一条消息被处理多次并不重要。因此，幂等接收者不需要以某种方式检测到消息是重复的，他们可以像往常一样简单地处理它......

所以要么你的接收器不是幂等的，要么你不必要地担心......