performance - 一个缓慢的 ActiveMQ 消费者导致其他消费者变慢

Question

我正在寻求有关一个奇怪问题的帮助，即队列上的慢速消费者会导致同一队列上的所有其他消费者开始以 30 秒的间隔消费消息。这就是所有消费者，但慢的消费者不会尽可能快地消费消息，而是在消费前等待一些神奇的 30 秒障碍。

我的应用程序的基本流程是这样的:

许多生产者将消息放置到单个队列中。消息可以有不同的 JMSXGroupID

许多消费者收听该单个队列上的消息

作为标准做法，JMSXGroupID 分布在消费者之间

在某些时候，其中一个消费者变得很慢并且不能很快地处理消息

缓慢的消费者最终会在代理上填充其预取缓冲区，并且 AMQ 认识到它很慢(默认行为)

在那个时候——或者一些“随机”但稍后关闭——除了慢的消费者之外，所有消费者开始只以相同的 30 秒间隔消费消息

如果缓慢的消费者再次变得快速，那么事情很快就会恢复正常运行，并且 30 秒的障碍消失

我不知道是什么导致了这个问题，或者如何解决它，请帮忙。

更多背景和发现

我已经成功地在 AMQ 5.8.0、5.9.0(最初发现问题的地方)和 5.9.1、全新安装和现有的操作管理安装以及不同的机器上可靠地重现了这个问题，一些 vm 和一些没有。所有 linux 安装，不同的操作系统和 java 版本。

它似乎不受任何与预取相关的影响，即:将预取值从 1 更改为 10 到 1000 并不能阻止问题的发生

[red herring?] 在 amq 实例上启用调试日志会显示与定期检查可能过期的消息相关的日志。队列没有过期策略，所以我只能认为预定的 expireMessagesPeriod时间只是以这样一种方式唤醒 amq，然后它会向非慢速消费者发送消息。

如果进入 30 秒模式，然后再向左然后再次进入，则分钟后的秒数时间始终相同，例如分钟后的 14 秒和 44 秒。这适用于所有消费者和托管这些消费者的所有机器。重新启动 amq 后，这些障碍点确实会发生变化。

Answer 1

虽然不是严格意义上的问题解决方案，但进一步的调查发现了这个问题的根本原因。

TL;DR - 这是已知的行为，不会在 Apollo 之前修复

更多详情

最终这是由 maxPageSize 引起的。属性以及 AMQ 只会将选择标准应用于内存中的消息这一事实。通常这些是消息选择器( property = value )，但在我的情况下它们是 JMSXGroupID=>Consumer作业。

当队列接收到消息时，它们会被分页到内存中并放入一个集合(在源代码中名为 pagedInPendingDispatch)。为了发送消息，AMQ 将扫描这个消息列表并尝试找到一个接受它的消费者。这包括检查组 ID、消息选择器和预取缓冲区空间。对于我们的用例，我们没有使用消息选择器，而是使用了组。如果没有消费者可以接收该消息，则该消息将留在集合中，并在下一次滴答时再次检查。

为了阻止pagedInPendingDispatch从消耗所有可用资源的集合中，建议限制通过 maxPageSize 配置的此队列的大小。属性(property)。这个属性实际上并不是一个最大值，它更多的是一个提示，在正常情况下，新消息到达是否应该在内存中分页或分页到磁盘。

有了这两条信息和一个缓慢的消费者，最终发现 pagedInPendingDispatch 中的所有消息集合最终只能由慢速消费者使用，因此该集合有效地被阻塞并且没有其他消息被分派(dispatch)。这解释了为什么慢消费者不受 30 秒间隔的影响，它有 maxPageSize消息已经在等待传递。

这并不能解释为什么我看到非慢速消费者每 30 秒收到一次消息。事实证明，将消息分页到内存有两种模式，正常和强制。正常遵循上述过程，其中集合的大小与 maxPageSize 进行比较。属性，但是，当强制时，消息总是被分页到内存中。此模式的存在允许您浏览不在内存中的消息。碰巧，过期机制也使用这种强制模式来允许 AMQ 使不在内存中的消息过期。

因此，我们现在拥有的是内存中的消息集合，这些消息都针对分派(dispatch)给同一个消费者，消费者不会接受它们，因为它很慢或被阻塞。我们还有大量消息等待交付给所有消费者。每expireMessagesPeriod任务运行的毫秒数，强制将消息分页到内存中以检查它们是否应该过期。这会将这些消息添加到现在包含 maxPageSize 的集合中的页面上。慢消费者和N 的消息发给任何消费者的更多消息。这些消息被传递。

QED。

引用文献

Ticket referring to this issue but for message selectors instead

Docs relating to the configuration properties

Somebody else with this issue but for selectors