ibm-mq - IBM MQ QM 如何向多个使用者分发消息

Question

我们有一个 IBM MQ v8 设置，其中包含 1 个大容量非持久队列和该队列上的许多使用者 (50+)。需要大量的消费者才能处理队列上发布的大量消息。

我们现在注意到队列管理器没有将消息均匀地分配给 X 个消费者。少数消费者每分钟最多收到 300 条消息，而许多其他消费者每分钟仅收到几条消息 (<10)。并且，队列上有很多消息，并且队列深度在稳步增加。消费端的CPU和内存不是问题，两者的利用率都<50%。

有人可以解释一下 IBM MQ 队列管理器如何向多个使用者分发消息吗？是否有可能在服务器端或消费者端影响这一点，以便消息更均匀地分布在可用的消费者上？

在马克·泰勒回复后添加

我们面临的挑战是每分钟有超过 10.000 条消息添加到队列中，而我们无法足够快地消耗它们。我们当前的设置是，我们有一个在 Docker 容器中运行的简单消费者，并且我们通过运行多个容器来进行扩展。运行 12 个消费者(Docker 容器)确实会增加整体吞吐量，运行 50 个以上消费者不会增加任何吞吐量。每个消费者都很简单:

1. connect to queue manager
2. Connect to queue
3. While true
   - Get message from queue
   - Process message (commenting this out does not increase overall performance)

如何才能获得更高的消息消耗性能？例如，如果在一个容器中我们连接到队列管理器一次，然后让多个线程使用同一队列管理器连接到队列并获取消息，这会有帮助吗？或者我们是否应该在多个线程上重用队列？

问候，

下罗

Answer 1

MQ 的默认行为是将消息提供给最近的 getter。这通常会提高性能，因为该进程最有可能是“热”的(在处理器缓存中)。因此，您不应期望消息的平均分配。如果您看到一个应用程序获取了最多的消息，则意味着它经常在处理一条消息后才可以检索另一条消息。在下一条消息可用之前，它正在重新加入服务员队列。

有很多方面会影响整体性能，包括事务性、检索标准、争用等，因此实际上不可能说出您的问题是什么，或者是否更改默认分配算法(有一个未记录的调整参数可以反转队列)服务员)会有所帮助。拥有客户端连接，而等待实际上是由“代理”svrconn 进程和线程完成的，这使得事情变得更加复杂。