multithreading - 具有分布式后台工作的 Azure Web 角色

Question

我想在 Web 角色中创建一个 WCF 来为智能手机客户端提供服务。

此外，我需要创建无限后台任务来迭代每个成员，并在需要时向成员发送推送通知(该决定是根据每个成员的一些 Facebook 查询做出的)。

目前，该应用程序是新的，我没有客户端，所以我不需要超过一个虚拟机(为了节省成本..)，但我将来可能需要扩展，所以我想要支持它。我唯一的要求是对所有成员的迭代将以少于 30 分钟的间隔完成。

我正在考虑两种解决方案:

1.运行仅在一台虚拟机中运行的经典 Windows 服务(如果我横向扩展，该 Windows 服务的一个实例仍将仅在其中一台虚拟机上运行)。此外，我将在wcf服务中添加一个“void Handle(Member member)”方法。windows服务将具有无限循环，将wcf请求发送到该方法。这样，如果我扩展实例，负载平衡将分配工作。

问题:windows服务不知道他可以向wcf服务发送多少个并发请求。我确实需要对成员进行并发处理(当然，要达到服务器可以并行处理它们的限制)，因为当我等待一个 facebook 查询完成时，我可以向其他成员发送更多 facebook 请求(这需要几秒钟的时间)每个 facebook 查询都要响应，因为我使用 facebook 批量请求)。

2.每个 webrole 实例将负责处理不同的成员(我仅讨论后台工作)。例如，如果我有 2 个实例(因为我横向扩展了一次)，第一个实例将负责 id % 2 == 0 的成员，第二个实例负责 id % 2 == 1 的成员。为了实现它，我想在每个实例启动时，我在某个sql表中注册当前实例。

此外，每个 Web 角色实例都将具有后台线程:

1. 检查 sql 表以了解哪些成员负责
2. 处理这些成员
3. 设置 LastHandleTime 日期
4. 检查是否有某个实例的记录在 5 分钟内未更新其 LastHandleTime，请删除其记录(以便其他人下次会获取其成员)

编辑:此解决方案也存在问题。我无法在 wcf 服务的整个生命周期中保持后台线程运行 - 如果我的服务中没有事件，IIS 可能会杀死它[更多详细信息:http://forums.asp.net/t/1830688.aspx/1]

Edit2:为了解决这个问题，我将后台线程作为单独的Windows服务运行。将来，如果需要，我可以轻松地将其转换为 worker 角色。由于Web角色和Windows服务使用相同的处理逻辑，除了从第一个开始有响应，从第二个开始有推送通知(如果需要)，我将使用一个共享的DLL以及它们的处理逻辑.

哪种解决方案更好？我该如何解决我提出的问题？

Answer 1

我不会在云中使用 Windows 服务，并且也会避免使用您的 #2 设计，因为它的扩展性不太好。这是我处理您的情况的方式:

我想构建一个分发服务 (DS) 和一个处理服务 (SP)。 DS 的作用是发布需要在 Azure 队列中接收通知的用户/成员的列表。 DS 可以按照您的建议从数据库中读取数据。使用 Azure 队列可以更轻松地在辅助角色之间分散工作负载，并使用内置冗余，其中如果未在特定时间范围内处理队列中的项目，则会重新出现。 DS 可以是 WCF 服务中的后台线程，尽管我可能会为此目的创建专用的辅助角色。如果需要超过 1 个 DS 来实现冗余，请使用共享锁定机制(例如租用公共(public) Blob 或使用 Azure Table)，以便只有 1 个 DS 发布要在队列中通知的成员列表。每个需要接收通知的成员都由 Azure 队列中的一条消息表示。例如，您可以在队列中存储用户 ID:2019932 - 因此，如果您有 10,000 条消息要发送，则 Azure 队列中将有 10,000 条消息。

SP 是另一个辅助角色，它从队列中读取数据并处理队列中的每个项目。 SP 可以一次从队列中取出 N 个项目(例如 10 个)并处理它们。 SP 还可以有多个线程(假设为 T 个线程)，因此每个 SP 一次可以并行处理大约 N * P 个请求。让我们进一步假设您的代码需要 S 秒来处理每条消息(检查 Facebook、发送通知、更新数据库)。要扩展，您所需要做的就是部署更多 SP。部署 X 个 SP 将为您提供平均每秒 X * N * P/(N * S ) 条消息的吞吐量。

从技术上讲，您可以让 DS 和 SP 处于同一个辅助角色中；只要您处理共享锁定机制，当您在多台计算机上部署角色时，就不必担心重复消息。

像往常一样，当您处理大量请求时，您就进入了分片的世界。请参阅此链接了解 Azure 当前的可扩展性目标。例如，单个队列每秒最多可以处理 2,000 条消息。这是一个目标...而不是保证...:) 如果您认为您需要的不止于此，您始终可以使用多个队列。