amazon-ec2 - EMR - 利用现货实例

Question

我知道我们可以竞标现货实例并以低于常规实例的价格获得它们，但是对于现货实例，您的实例有被收回的风险。

我想知道有什么方法可以确保只有在我们的工作完成后才将它们带走？

Answer 1

“确保”的唯一方法是出价非常非常非常高的值(value)!

但实际上，如您所知，如果您请求现货实例，请记住，如果当前现货价格超过您的最高出价，则实例将不会被供应或将从当前作业流程中删除。为了避免工作流的完全丢失，可以创建多个实例组，其中 CORE 组是传统按需系统的较小补充，而 TASK 组是组现货实例。在此配置中，TASK 组将仅受益于作业流的映射器阶段，因为来自 TASK 组的工作“递交”到 CORE 归约组。

假设您必须运行一个理想情况下需要 40 台从属机器的作业，那么您可以说 10 台机器(核心组)作为传统实例，而其他 30 台机器作为现场实例(任务组)。创建多个实例组的语法如下:

elastic-mapreduce --create --alive --plain-output
...
--instance-group master --instance-type m1.small --instance-count 1 \
--instance-group core   --instance-type m1.small --instance-count 10 \
--instance-group task   --instance-type m1.small --instance-count 30 --bid-price 0.018