java - 构建或购买计算网格平台更好？

Question

我希望为字符串匹配做一些相当处理器密集型的暴力处理。我在多线程环境中运行了我的原型(prototype)，并将性能与使用 Gridgain 和几个节点(也是多线程)的实现进行了比较。

我观察到的性能是我的 Gridgain 实现比我的多线程实现执行得更慢。可能是我的 gridgain 实现存在缺陷，但它只是一个原型(prototype)，我认为结果是指示性的。所以我的问题是:

当一个人可以很容易地将一个轻量级计算网格平台与更浅的学习曲线？...即我们从这些值得拥有/难以实现的云/网格平台免费获得什么？

(请注意，我不需要数据网格)

干杯，

-詹姆斯

(附注:很高兴在需要时制作这个社区 wiki)

Answer 1

您要处理哪种网格？十几个运行相同操作系统的主机运行一个网格会非常简单——你真正需要处理的就是向每个主机发送工作，可能需要一点负载平衡，可能要考虑主机出现故障时的处理方式，当您更新服务时，可能会处理向主机分发新服务代码，但如果您不处理其中任何一个，那也没什么大不了的，因为网格的大小是可管理的。如果您要处理 1000 台主机，或者处理的服务永远不会停机或由于单个主机停机而出现错误，那么您突然不得不担心:

• 不使任何单个主机重载
• 分发新的服务代码
• 检测主机何时没有响应并且不向其发送新工作，以及重新发送它正在处理的任何内容
• 可能跨不同的操作系统和架构(小端与大端)工作
• 节能 - 在低负载时关闭主机并在高负载时重新启动
• 扩展 - 如果您明天向网格中添加 100 台主机，需要多长时间才能让它们连接起来并正常工作？
• 可靠性 - 一些服务实际上可能在 2-3 个不同的主机上执行计算，并且只返回所有主机都同意的答案

这是大多数网格软件在您需要时应该为您做的事情的简短列表。如果你正在做一些小的或非关键的事情，那么一定要自己动手。如果您正在处理必须工作的东西，或者大到足以在部署过程中进行任何手动步骤都将成为维护噩梦，那么您可能希望使用已经存在的东西。