gpt4 book ai didi

用于分布式计算的 Ruby 库?

转载 作者:太空宇宙 更新时间:2023-11-03 16:52:19 25 4
gpt4 key购买 nike

<分区>

我正在为 Ruby 中的实时数据分析任务开发算法。瓶颈是 CPU,因为数据集很大。因此,为了达到所需的性能,我必须并行使用更多内核,可能在不同的机器上。

我的问题是是否存在提供以下功能的现有 Ruby 库:

  • 集群管理,最好是无主节点,具有动态重新配置(加入和离开节点)和一定程度的容错能力
  • 将计算作业分发到(事件)节点、错误处理(作业重试等)
  • 快速(直接?)沟通以确保实时能力

我已经看过的东西:

  • DRb:级别太低,手动节点处理,没有容错能力?
  • DCell:成熟?自动集群管理?
  • Resque/Sidekiq:不错,但太慢(轮询 Redis、休眠工作人员……)
  • Riak Map/Reduce:不错,但不推荐用于实时查询
  • Spark : 复杂的东西,企业?

不得已:也许没有针对 Ruby 的解决方案,但针对其他平台?也许是 Java(是的,JRuby!)或 node.js。

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com