c# - 架构 Azure 辅助角色以处理来自约 10 个队列的数据的最佳方法

Question

我有一个辅助角色，它将数据放入大约 10 个需要处理的队列中。有大量数据 - 可能每秒大约有 10-100 条消息在各个队列中排队。

队列保存不同的数据并单独处理它们。特别是有一个非常活跃的队列。

我现在的设置方式是，我有一个单独的辅助角色，它生成 10 个不同的线程，每个线程执行一个具有 while(true){从队列中获取消息并处理它} 的方法。每当队列中的数据被备份时，我们只需启动更多这样的进程来帮助加快队列中数据的处理速度。另外，由于一个队列更活跃，因此我实际上启动了许多指向同一方法的线程来处理该队列中的数据。

但是，我发现部署的 CPU 利用率很高。几乎始终保持或接近 100%。

我想知道这是否是因为线程饥饿？或者因为访问队列是 RESTful 的，并且线程最终会通过连接并减慢速度而相互阻塞？或者，是因为我使用:

while(true)
{
   var message = get message from queue;
   if(message != null)
   {
       //process message
   }
}

执行速度太快了？

消息的每次处理也会将其保存到 Azure 表存储或数据库中 - 因此保存此数据的过程可能会消耗 CPU。

实际上，调试高 CPU 负载确实很困难。所以，我的问题是:是否可以进行一般架构更改，以帮助缓解和防止可能出现的任何可能的问题？ (例如，不要使用 while(true) 使用不同类型的轮询 - 尽管我认为该示例最终是相同的)。

也许简单地使用 new Thread() 生成新线程并不是最好的方法。

Answer 1

我建议在循环中添加一个 sleep 语句...这个紧密的循环不仅可能占用 CPU 资源，而且还需要为存储事务付费。每查一万次队列就要花一分钱。这是一个很小的成本，但随着时间的推移，它可能会变得很大。

我也经常使用这样的代码:

while(真)
{
var msg = q1.GetMessage();
if (msg != null) { ... }
消息 = q2.GetMessage();
if (msg != null) { ... }
}

换句话说，串行轮询队列而不是并行轮询(这完全应该是一个词)。这样，您实际上一次只执行一件事(如果您的任务是 CPU 密集型任务，则很有用)，但您仍在每个循环中检查所有队列。