消息队列简介

转载 作者：我是一只小鸟 更新时间：2023-03-21 14:31:23 26 4

什么是消息队列

消息队列是一种异步的服务间通信方式，适用于无服务器和微服务架构.

消息在被处理和删除之前一直存储在队列上。每条消息仅可被一位用户处理一次.

消息队列可被用于分离重量级处理、缓冲或批处理工作以及缓解高峰期工作负载.

提供消息的我们称为生产者；接收消息的我们称为消费者.

为什么要用消息队列

目的：解耦、异步、削峰.

1、解耦

通常我们的代码是存在调用链的，如果是一个单体里面，直接函数调用，等待返回就好了。但是在分布式、微服务中，我们可能不知道上下游的改动或者可靠性.

比如A给BCD提供消息.

• 如果要添加E或者去掉C，则需要改A的代码。
• 如果B挂了，A怎么给B补发？
• 总之，BCD要改，A必须要跟着改。

改成:

A给消息队列提供消息。BCD从消息队列拿。（发布订阅模型） 。

• 添加、删除 BCD自己决定。
• 消费者成功与否，生产者不必关心。

总结：通过一个 MQ，Pub/Sub 发布订阅消息这么一个模型，A 系统就跟其它系统彻底解耦了.

带来问题:

• 丢数据。 B取了数据，消费的过程中挂了。则数据丢失。改：加入返回机制，消费完了通知A。
• 重复消费。B消费了但是没通知A消费了，然后挂了，再获取的时候，会把挂之前取的消息再消费一遍。

2、异步

顺序执行：A-B-C 。

改成：先写入队列，直接返回，ABC并发执行.

问题：顺序性。逻辑是要顺序，但是并发可能导致乱序.

3、削峰

当上游的流量冲击过大， 想要不被打垮，要么抛弃这些流量，要么存储这些流量。很显然，存起来在大多数时候是更好地选择.

注意 这里是大多数，有时候一些具有时效性的场景，抛弃可能反而更好.

将流量存起来，在空闲的时候慢慢消费，缓冲上下游的瞬时突发流量，使其更平滑，增加系统的可用性，这就是削峰填谷.

消息队列的两种形式

点对点

• 很原始的模式，如果消费者要增加则必须要改生产者。优点是顺序消费。
• 像打电话。

订阅发布：

• 生产者不用关心消费者的数量。可以自由扩展数量。
• 像订报纸。

消息队列带来的问题

没有银弹，都是驱虎吞狼而已.

• 可用性降低：消息队列挂了，整个系统全挂。
• 复杂度增加：要解决 消息丢失、重复消费、顺序性等问题。
• 一致性问题：BCD并发执行，如果B挂了，那么CD产生的数据就会有缺陷。

常见问题：

delivery guarantee:

• At most once：消息可能会丢，但绝不会重复传输
• At least one：消息绝不会丢，但可能会重复传输
• Exactly once：每条消息肯定会被传输一次且仅传输一次，很多时候这是用户所想要的。

1. 重复消息

消费者消费了但是还没来得及记录已读标记就挂了，重启后则会重复读取.

最常见的解决方案是消费者保持幂等性。即多次消费结果不变。主要是因为消息丢失更不可控.

代码层一般是添加特殊标记，如果已经消费过了则过滤掉.

比较复杂的还有双删和事务.

• 双删：先记录已读index在本地，消费完后通知消息队列（commit），删除已读index。重启时如果有已读index，则从该index开始读取，没有则看消息队列上的标记。（由于commit和删除index的操作很快，所以失败一个可能性较小）.

• 事务：消费过程和commit做成事务，但是会影响性能.

2. 消息丢失

• 生产者丢数据：生产者在收到消息队列的接收确认后再删除消息（ACK）。比较耗性能。
• MQ丢数据：本地持久化、冗余备份、集群高可用。
• 消费者丢数据：消费者先记录标记，但是没有消费就挂了，重启后则该消息丢失。所以一般是先消费再标记（commit），宁可多消息不愿少消息。

3. 顺序消费

• 分布式事务模型。即全局锁之类的方式。
• 将需要顺序执行的事情给一个服务做。通过哈希等算法保证同一个标志（比如用户ID）的消息总是给固定的服务处理，在单一服务内部是顺序的。
• 让BCD之间横向通讯。比如B的逻辑需要CD来补充，则CD做完了通知B一下，B去补充自己的逻辑即可。

4. 消息积压的处理

• 紧急扩容消费者，加快消费速度。
• 过期失效。抛弃一部分消息，降级服务，优先保证系统整体的稳定性。
• 消息紧急性，让紧急的事情优先处理。

消费模型 Push vs Pull

消费者拉取 Pull

即消费者自己找消息队列拿，自己一口一口吃.

• 消费速度 消费者自己决定
• Consumer 可以自己控制消费方式——即可批量消费也可逐条消费，同时还能选择不同的提交方式从而实现不同的传输语义。
• 消费者需要轮训。（可能造成无效等待，可以采用长轮训）
  • 长轮询：没有消息就等30秒，还是没有再断开重连，减少了握手开销，但是依然会占用连接数。
• 消息反压 ：消费者速度慢，反压上游。

消息队列推送 Push

即生产者强行推给消费者，即养猪，不管吃不吃的完，先倒进去再说.

• 减少了消费者的无效等待。
• 消费者处理不过来的时候可能会丢失。
• 可以考虑有消息的时候广播 ，消费者自己维护一个队列。

最后此篇关于消息队列简介的文章就讲到这里了,如果你想了解更多关于消息队列简介的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

26 4 0

• iphone - 如果我向集合发送 -release 消息，它是否会向它所拥有的所有对象发送 -release 消息？

  我一直在读到，如果一个集合“被释放”，它也会释放它的所有对象。另一方面，我还读到，一旦集合被释放，集合就会释放它的对象。 但最后一件事可能并不总是发生，正如苹果所说。系统决定是否取消分配。在大多数情况

• wcf - 以二进制方式序列化 WCF 消息，而不是作为 SOAP 消息

  我有一个客户端-服务器应用程序，它使用 WCF 进行通信，并使用 NetDataContractSerializer 序列化对象图。 由于服务器和客户端之间传输了大量数据，因此我尝试通过微调数据成员的

• java - 针对特定属性组同步处理 jms 消息，但在其他组中同时处理 jms 消息

  我需要有关 JMS 队列和消息处理的帮助。 我有一个场景，需要针对特定​​属性组同步处理消息，但可以在不同属性组之间同时处理消息。 我了解了特定于每个属性的消息组和队列的一些知识。我的想法是，我想针对

• c++ - #define 打印(消息)std::cout << 消息 << std::endl

  我最近开始使用 C++，并且有一种强烈的冲动 #define print(msg) std::cout void print(T const& msg) { std::cout void

• java - JGroups:发送(空，空，消息)与发送(地址，空，消息)

  我已经为使用 JGroups 编写了简单的测试。有两个像这样的简单应用程序 import org.jgroups.*; import org.jgroups.conf.ConfiguratorFact

• javascript - 消息 : This browser doesn't support the API's required to use the firebase SDK.(消息/不支持的浏览器)

  这个问题在这里已经有了答案: Firebase messaging is not supported in your browser how to solve this? (3 个回答) 7 个月前关

• c# - EntityState 必须设置为 null、Created(对于 Create 消息)或 Changed(对于 Update 消息)

  在我的 C# 控制台应用程序中，我正在尝试更新 CRM 2016 中的帐户。IsFaulted 不断返回 true。当我向下钻取时它返回的错误消息如下: EntityState must be set

• json - Graylog 服务器无法通过 TCP::GELFDispatcher 读取 Gelf 消息 - 无法处理 GELF 消息::无法解压缩 GELF 消息负载

  我正在尝试通过 tcp 将以下 json 写入 graylog 服务器: {"facility":"GELF","file":"","full_message":"Test Message Tcp",

• Django 消息，如何隐藏特定消息

  我正在使用 Django 的消息框架来指示成功的操作和失败的操作。 如何排除帐户登录和注销消息？目前，登录后登陆页面显示 已成功登录为“用户名”。我不希望显示此消息，但应显示所有其他成功消息。我的尝试

• qt - 如何启用和禁用qDebug()消息

  我通过编写禁用qDebug（）消息 CONFIG(release, debug|release):DEFINES += QT_NO_DEBUG_OUTPUT 在.pro文件中。这很好。我想知道是否可以

• Laravel throttle 消息

  我正在使用 ThrottleRequest 来限制登录尝试。 在 Kendler.php 我有 'throttle' => \Illuminate\Routing\Middleware\Throttl

• perl - 如何在没有位置信息的情况下输出die()消息？

  我有一个脚本，它通过die引发异常。捕获异常时，我想输出不附加位置信息的消息。 该脚本: #! /usr/bin/perl -w use strict; eval { die "My erro

• rabbitmq - 消息、队列和交换器有哪些限制？

  允许的消息类型有哪些(字符串、字节、整数等)？ 消息的最大大小是多少？ 队列和交换器的最大数量是多少？ 最佳答案 理论上任何东西都可以作为消息存储/发送。实际上您不想在队列上存储任何内容。如果队列大部

• .Net，向没有窗口的命令行进程发送按键/消息？

  基本上，我正在尝试创建一个简单的 GUI 来与 Robocopy 一起使用。我正在使用进程打开 Robocopy 并将输出重定向到文本框，如下所示: With MyProcess.StartI

• 记录 MQ 消息

  我想将进入 MQ 队列的消息记录到数据库/文件或其他日志队列，并且我无法修改现有代码。是否有任何方法可以实现某种类似于 HTTP 嗅探器的消息记录实用程序？或者也许 MQ 有一些内置的功能来记录消息？

• 未显示 primefaces 消息

  我得到了一个带有 single_selection 数据表和一个命令按钮的页面。命令按钮调用一个 bean 方法来验证是否进行了选择。如果不是，它应该显示一条消息警告用户。如果进行了选择，它将导航到另

• gcc 编译时间注释/消息

  我知道 MSVC 可以通过 pragma 消息做到这一点 -> http://support.microsoft.com/kb/155196 gcc 是否有办法打印用户创建的警告或消息？ (我找不到谷

• 当有大量节点或二进制数据时 Erlang 消息

  当存在大量节点或二进制数据时， native Erlang 消息能否提供合理的性能？ 情况 1:有一个大约 50-200 台机器的动态池(erlang 节点)。它在不断变化，每 10 分钟大约添加或删

• 登录后 django 消息

  我想知道如何在用户登录后显示“欢迎用户，您已登录”的问候消息，并且该消息应在 5 秒内消失。 该消息将在用户成功登录后显示一次，但在同一 session 期间连续访问主页时不会再次显示。因为我在 ho

• 居中添加名称的 sprintf 消息

  如果我仅使用Welcome消息，我的代码可以正常工作，但是当打印p->client_name指针时，消​​息不居中。 所以我的问题是如何将消息和客户端名称居中，就像它是一条消息一样。为什么它目前仅将消