gpt4 book ai didi

c# - 分布式 Map/Reduce 框架

转载 作者:可可西里 更新时间:2023-11-01 14:59:28 26 4
gpt4 key购买 nike

<分区>

我正在寻找 .net 分布式 map/reduce 框架。我打算将其用于实时数据查询并在多个节点上并行处理查询。我目前正在使用 WCF 进行 Web 层和应用层之间的通信。

例如,如果我有 5 个具有内存数据的节点。如果我将过滤器传递给 5 个节点。过滤器在节点拥有的数据 block 上执行,结果被缩减回最终答案。

只是想知道是否已经有一个框架可以映射作业并减少结果。我看起来更像是 Storm 的光轮(Twitter 实时 map /缩减)。由于许多并发症,不能使用 nimbus。 Zookeeper 的开销太大。

我正在尝试使用该框架实现以下目标1)将作业(主要是发送到所有可用节点的请求)映射到可用节点并减少结果。2) 在故障转移时将作业映射到新节点。3) 管理集群。 (如果节点关闭,将其从可用服务器列表中删除)

数据将在内存中,因此我不需要分布式文件系统。带有 WCF 作为底层通信的 .NET 是理想的,但如果有其他框架(任何语言)请告诉我。

任何帮助(框架、代码项目、研究论文、实际代码:))将不胜感激。

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com