r - 用于短期任务的 Amazon EC2 按需工作人员

Question

我正在寻找构建一个 Web 应用程序，该应用程序需要在 R 中按需运行资源密集型 MCMC (Markov chain Monte Carlo) 计算，以便为用户生成一些概率图。

约束:

显然我不想在与 Web 应用前端相同的服务器上运行资源密集型计算，所以这些任务需要交给 工作实例 .

这些计算需要大量的 CPU 才能运行，我希望尽可能降低延迟(希望是几秒钟，而不是几分钟)，所以我更愿意在 上运行计算。更强大的硬件 .

我负担不起以约 66 美分/小时 x 24 小时/天的速度运行强大的 EC2 实例，所以 点播或现场请求实例可能是必要的。

以下是我提出的选项:

每天 24 小时运行一个便宜的、负担得起的工作实例，这需要
一次由 Amazon SWF(或 SQS)管理的一项任务。

缺点:

高延迟 - 更便宜的硬件，更长的等待时间。

为每个任务生成一个更强大的工作实例(每当有工作时启动
被添加到队列中)并在完成时终止实例。

缺点:

昂贵/浪费 - 我会在服务器上支付一个小时
每次只用几秒钟来计算

启动开销 - 会启动一个新的 EC2 实例
按需引入不可忽略的延迟(抵消
使用更强大的硬件的全部目的)？

与 #2 类似，但 EC2 现货请求出价较低。

缺点:

启动开销 - 见 #2

不一致？ - 我以前从未处理过现场请求，
所以我不知道这样的解决方案有多不稳定或动手
会是......我是否必须不断调整我的出价才能使
确定我仍然可以在高峰时间完成任务吗？另外，我想
我必须密切监视我的流程以确保它们不是
计算中途中断。

我主动监控的某种混合解决方案
强大的硬件 worker 实例及其负载和智能
每小时启动和终止实例以保持最佳状态
成本和可用性的平衡

缺点:

复杂且昂贵的设置 - 除非有良好的管理
那里的服务来处理这样的事情，我必须设置所有
所有这些基础设施都是我自己...

我希望有一些服务可以让我按分钟而不是按小时为高度可用的按需硬件付费。

所以我的问题如下:

你会如何建议解决这个问题？

是否有一个很好的 EC2 实例管理解决方案可以位于 Amazon SWF 之上并帮助我进行负载平衡和终止空闲工作人员？

现场请求投标会解决我的问题，还是更适合不一定需要立即完成的任务？

Answer 1

您可能不知道还有另一种选择。实际上我只是偶然发现了它:http://multyvac.com

我没有使用它的经验(所以我不能保证)，但它看起来像是我见过的第一个真正提供真正“实用计算”的解决方案。它从 Python 开始，但现在支持任何语言。