transactions - 两阶段提交 - 如何有效地使用我的队列？

Question

我将要描述的本质上是两个不同系统之间的两阶段提交问题，我正在寻找有关如何处理它的建议。在我们的 Web 应用程序中，我们将一些昂贵的/第 3 方操作(例如发送电子邮件)卸载到带外后台工作进程(我们称之为我们的工作基础设施)。

例如，要发送电子邮件，我们在数据库中创建电子邮件对象和电子邮件作业。然后，我们必须等待我们的作业监视器接收电子邮件作业并将其发送。作业监视器的工作原理是在数据库空闲时每隔几秒轮询一次。

然而，这会增加电子邮件发送的延迟，并在轮询中增加了我认为数据库上的过度负载。如果我们可以在创建电子邮件后立即将电子邮件作业放入队列，那就更好了。

然而，这目前由于两个原因而失败。首先，队列通常比 Web 请求快得多。电子邮件在 Web 请求提交其数据库事务之前被选取进行处理，因此它无法正确生成电子邮件。其次，如果 Web 请求失败，它会回滚其数据库事务，这意味着不应发送电子邮件。但是，如果它已被放入队列，则它不再受请求的控制。

是否有在队列和数据库之间创建两阶段提交的好策略？作为引用，我们将 RabbitMQ 和 MySQL 与 InnoDB 表一起使用。我的一个想法是在提交数据库事务后将电子邮件作业放在队列中，但这可能使电子邮件永远不会排队。我仍然需要创建一个轮询过程来监视应该发送和没有发送的电子邮件。

Answer 1

我意识到这已经晚了几年 :) 但我想为遇到这个问题的其他人添加一些关于此的想法。

您可以延迟发送消息，以增加作业获取时数据库准备就绪的机会。我从未使用过 RabbitMQ，但我发现了这个使用 rabbitMQ 队列作为延迟队列的示例 How to create a delayed queue in RabbitMQ? .您的电子邮件作业仍然需要处理任何未注释的记录，因为延迟不是处理分布式处理的确定性方法。

也就是说，感觉你的设计还有改进的空间。通常对于服务架构，在服务之间共享数据库表是一个坏主意。它导致分布式事务和扩展问题。我会尽量确保 RabbitMQ 消息包含独立于任何其他服务处理电子邮件所需的所有数据。或者，如果它需要更多数据，它应该通过 ServiceBus 请求而不是数据库查询来请求该数据。