amazon-ec2 - 亚马逊 Ec2 原型(prototype)设计

Question

人们(和初创公司)实际上如何在亚马逊上进行原型(prototype)设计/部署并保持成本合理？上个月我们正在试验一些特定的应用程序并运行自己的 hadoop 集群并设法花费近 1.5k 来进行测试？当然——他们有微型实例，但如果你的应用程序如此密集以至于实际上需要更大的实例来测试呢？所以我想要一些关于人们如何做这件事的意见？

Answer 1

几个关键问题:

出于某些目的考虑本地测试平台并考虑给定的测试是否真的需要 EC2。如果将 2-4 台机器用作 Hadoop 的测试平台真的很难，那么问题就不同了。了解您将要运行的任何内容，Hadoop 将如何发挥作用，并对此有所了解。随着时间的推移，您还会想要更改网格、升级软件、修补其他想法等。当您使用 EC2 时，您已经平滑了一些粗糙的边缘。

在掌握事情的窍门时，不要使用比您需要的更大容量的机器。如果您在此阶段没有推送大量数据或计算周期，请不要为集群计算节点、大量 RAM 实例等而烦恼。只需专注于正确设置即可。

当您准备重新定位到更强大的机器时，请尝试一些不同的机器设置。也许集群计算实例会得到返回，也许你不需要那种吞吐量:在你知道你的瓶颈之前，不要超支。

确保在测试阶段经常使用 Spot 实例。您通常会支付约 50% 的按需价格。

如果您想为按需实例付费，请根据需要使用单独的实例启动和停止 Hadoop 实例——除非您需要一个全部在集群计算实例上的大型集群。

准备好您的 AMI 以尽快启动(不到 1 分钟)，如果没有必要，切勿让任何东西在一夜之间或一个周末运行。

在您设置并运行系统之前，您基本上是在支付学费来学习如何根据您的需求定制一切。只需支付“学费”来学习每一课(配置、瓶颈、扩大规模等)，而不是试图一次完成所有事情。当你把它当作一系列要学习的类(class)来对待时，花钱就不会那么痛苦了，但只要你知道你将要测试和学习什么，你也会更明智地花钱。

最后，将 1500 美元与这种学习体验的人工成本进行比较——从长远来看，这可能没什么大不了的。一旦你知道某件事将成为一个合理的计算工作 block ，它设计得很好，并且会很快完成(尽管在许多机器上)，花钱在它上面就不那么痛苦了。现在，很难欣赏您正在学习的内容，因为它还没有使您的组织的目标受益。