ibm-mq - IBM MQ QM 如何在多个消费者上分发消息

Question

我们有一个 IBM MQ v8 设置，其中包含 1 个高容量非持久性队列和该队列上的许多消费者 (50+)。需要大量消费者才能处理在队列上发布的大量消息。

我们现在注意到队列管理器没有将消息平均分配给 X 个消费者。一些消费者每分钟最多收到 300 条消息，而许多其他消费者每分钟只能收到几条消息 (<10)。并且，队列上的消息很多，队列深度在稳步增加。消费者端的 CPU 和内存不是问题，两者的利用率 < 50%。

有人可以解释 IBM MQ 队列管理器如何在多个消费者之间分发消息吗？是否有可能在服务器端或消费者端影响这一点，使消息更均匀地分布在可用的消费者上？

在 Mark Taylor 回应后添加

我们面临的挑战是每分钟有超过 10.000 条消息添加到队列中，而我们无法足够快地使用它们。我们当前的设置是我们有一个在 Docker 容器中运行的简单消费者，我们通过运行多个容器进行扩展。运行 12 个消费者(Docker 容器)确实会增加整体吞吐量，运行 50 个以上的消费者不会增加任何吞吐量。每个消费者都很简单:

1. connect to queue manager
2. Connect to queue
3. While true
   - Get message from queue
   - Process message (commenting this out does not increase overall performance)

我们如何才能获得更多的消息消耗性能？例如，如果在一个容器中我们连接到队列管理器一次，然后让多个线程使用同一个队列管理器连接到队列并获取消息，这会有帮助吗？或者我们甚至应该在多个线程上重用队列？

问候，

下罗

Answer 1

MQ 的默认行为是将消息提供给最近的 getter。这通常会提高性能，因为该进程最有可能是“热的”(在处理器缓存中)。所以你不应该期望消息的平均分配。如果您看到某个应用程序收到的消息最多，这意味着它会定期处理一条消息，然后才能检索另一条消息。在下一条消息可用之前，它正在重新加入等待者队列。

有很多方面会影响整体性能，包括事务性、检索标准、争用等，所以实际上不可能说出您的问题是什么，或者是否更改默认分发算法(有一个未记录的调整参数可以反转队列服务员)会有所帮助。并且在等待真正由“代理” svrconn 进程和线程完成的客户端连接上使它变得更加复杂。